陈曦
（以下是看了相关的参考资料后的简单总结与想法，可能有误。请见谅。）
减少方差就是为了解决（训练集上的）过拟合问题，过拟合问题的出现是因为高阶项的系数a可能过大（因而受到的非线性的影响偏大）。
正则化：那么此时便可以在最小化代价函数(cost function)的过程中加上高阶项的系数a的平方并赋予较大的系数b（这个就是正则化参数）。换句话说，在代价函数中加入a的平方再乘以b这一项（或者多项，取决于我们要考虑的高阶项有多少个）。
另外要注意正则化系数过大的话，会导致高阶项系数a变得特别小从而导致拟合不足（因为高阶项的影响太小了）。而正则化系数过小，可能导致高阶项系数仍然很大没能解决过拟合的问题。
最小化代价函数用的是梯度下降的方法，是一个需要不断迭代的过程。可以详见刘建平老师的博客，其中详述了代数法和矩阵法的两种表示。
参考资料：
https://www.cnblogs.com/jianxinzhou/p/4083921.html