机器学习笔记04:多项式回归 木灵的炼金工作室

针对于不同的训练集数据和实际情况,我们需要使用不同的模型来对其建模。

另一个常用的模型是多项式回归模型,其基本形式是:

$h(x) = \sum \theta_i x^i$

这样形式的预测函数的均方误差较难表达,也较难写出其便于微分的解析式。因此我们做如下非线性变换:

令:$X = (x_0, x_1, x_2, …, x_i, …, x_n) = (x^0, x^1, x^2, …, x^i, …, x^n)$

则预测函数可以写作$h(x) = \Theta^T X$

我们即可将其转化为一个多元线性回归的问题。

不仅是多项式回归,所有的非线性回归均可藉由如上的方式,通过非线性变换构造出新的特征组,从而转化为线性回归问题,以梯度下降方式求解。

但请务必注意,在做如上的变换之后,不同的”新属性”的取值和分散程度可能有较大的差异,应重新做一次特征缩放。


Copyright AmachiInori 2017-2021. All Right Reserved.
Powered By Jekyll.
amachi.com.cn