正规方程的另一种推导方式

1.损失表示方式

总损失定义为：

• y_i为第i个训练样本的真实值
• h(x_i)为第i个训练样本特征值组合预测函数
• 又称最小二乘法

2.另一种推导方式

把损失函数分开书写： $(Xw-y)^2=(Xw-y)^T(Xw-y)$ 对展开上式进行求导：

需要求得求导函数的极小值，即上式求导结果为0，经过化解，得结果为： $X^TXw=X^Ty$ 经过化解为： $w=(X^TX)^{-1}X^Ty$

补充：需要用到的矩阵求导公式：

$\frac{dx^TA}{dx}=A$

$\frac{dAx}{dx}=A^T$