机器学习笔记06:正规方程,解析解法 木灵的炼金工作室

我们之前证明了,多元线性回归模型的系数向量是:

\[\vec{W}=(\vec{A}^T\vec{A})^{-1}\vec{A}^T\vec{Y}\]

因此,我们可以写出训练集中的所有样本的属性值,与一个元素全为1的列向量组成上述矩阵$\vec{A}$,再写出标记值矩阵$\vec{Y}$,以上式计算,这就是多元线性回归的解析解法.

与梯度下降迭代的数值解法相比,解析解法无需猜测学习速率,也无需大量迭代计算,同时可以得出数学上精确的解,不会陷入局部极大. 然而,对于$n$个属性值的情形,正规方程的解析解法有着高达$O(n^3)$的时间复杂度. 因此,对于极大规模的训练集,我们还是建议使用梯度下降迭代法计算.


Copyright AmachiInori 2017-2021. All Right Reserved.
Powered By Jekyll.
amachi.com.cn