最小二乘法是衡量一个特定模型与数据点接近程度的普遍方法
它是指计算真实数据和预测数据间的平方差
平方保证了所有的结果都是正数，当然也有使用绝对值的
这种方法给我留下的最直观印象是大量的矩阵运算
线性关系
对于直线函数
w0是截距（与t轴）
w1是梯度（斜率）
也有可能是二次的
或高次的
这是一个k阶多项式函数
这个K阶多项式的矩阵形式
函数不限于多项式函数
平方损失函数 square loss function
在整个数据集山的平均损失
矩阵形式
也可以写成
下式能更清晰地展示两种形式间的转换
所以
我们的目标是
所以我们要找的是合适的w
对损失函数求导（寻找拐点）
注意，对于线性关系我们求关于w的各个偏导数
带入上方L的展开式
最后我们得到最小二乘法的公式
转载请注明原文地址: https://ju.6miu.com/read-1311672.html
