多变量线性回归

一些表示

n 表示特征数量
m 表示训练集样本数量
$$x^i 表示第i个训练样本的输入特征(向量)$$
$$x^i_j 表示第i个训练样本的输入特征(向量)中第j维特征的值$$

特征缩放

如果每个特征都处于相近的范围内,这样梯度下降法就可以更快的收敛

特征缩放最主要的就是将每个特征缩放到一个相近的范围,这样梯度下降就可以更快收敛

目标:将每个特征的取值约束到范围-1~1(附近也可以 例如 -2~0.5, 但是-0.00001~0.00002 不可以)之间, 最大不超过-3~3 最小不超过-1/3~1/3,

均值归一化

公式:归一化后的值 = (归一化前的值 - 归一化前的平均值 / (归一化前的最大值-归一化的最小值))

梯度下降算法

当梯度下降算法执行一定轮数之后,曲线将会趋于平缓,此时如何判断到达平缓点,不建议通过阀值来进行判断,建议绘图观看图来进行观察

损失函数随迭代次数变化图

损失函数随迭代次数变化图

如果得到下面这种图像,说明梯度没有下降反而上升,此时我们可以降低学习率,(因为学习率太大会导致直接越过局部最小点而上升到较高点)

代价函数随迭代次数变化图

代价函数随迭代次数变化图

注意:数学家已经证明,学习率很小的时候,代价函数会一直下降,所以如果遇到代价函数上涨,要降低学习率。但是也不能太小,太小将会移动很缓慢

特征和多项式回归

特征

在某些情况下,我们不一定要使用给出的变量来作为特征,而是自己可以创造特征

多项式回归

在某些情况下,我们使用最简单的线性回归并不能取得很好的拟合效果,此时我们可以深入一步,使用多项式回归尝试。

例如,在一组数据中,给了临街宽度和房子的深度 以及房价,用来构建模型预测房价

在这个例子中,我们可以构建一个新特征(房子面积=临街宽度*房子深度), 采用新特征来预测房价,画图如下

3.png

3.png

此时,对于图像我们可以考虑采用二次函数构建,但是随着面积增大,房价趋于平缓,因此不建议使用二次函数构建;也可以采用三次函数,或在线性回归函数后面加上一个平方根项

当我们采用三次函数时,将会转换为$$h_Θ(x) = Θ_0 + Θ_1 x + Θ_2 x^2 + Θ_3 x^3$$

此时我们可以构建三个特征,分别是房子面积,面积的平方,面积的立方

正规方程

对于方程中只有一个变量而言,求导然后令其为0, 直接求解
对于方程中有多个变量,可以求偏导令其为0,求解方程组