吴恩达机器学习二——回归问题

吴恩达机器学习——回归问题

问题分析

特征的选取

• 不一定非要使用原有的特征，可以将多个关联的特征合并为一个

• 当进行多项式拟合的时候，可以根据选定的拟合多项式选择和构造特征

  • $\begin{array}{ll}h_\theta(x)&=\theta_0+\theta_1x_1+\theta_2x_2+\theta_3x_3\\&=\theta_0+\theta_1(size)+\theta_2(size)^2+\theta_3(size)^3\end{array}$

  • $\begin{array}{ll}x_1&=(size)\\x_2&=(size)^2\\x_3&=(size)^3\end{array}$为选定的三个特征

线性回归模型

线性回归问题

• 相关概念

  • 训练集：用于学习的数据集
  • x：输入变量或特性
  • y：输出变量或目标变量
  • m：训练集包含的训练实例的个数，一个(x,y)表示一个训练实例。

• 运行模式

  学习算法根据训练集得出一个映射关系h，h将输入x映射为输出y。

  h的模式表示为$h_\theta(x)=\theta_0+\theta_1x$，是一元线性函数，因此称为线性回归算法。其中$\theta_i$称为模型参数。线性回归算法的要点就是选择$\theta_0和\theta_1$。

  

• 定义：线性回归问题是一个最小化问题。即为求$\theta_0$和$\theta_1$，使得$\frac{1}{2m}\sum_{i=0}^m(h_\theta(x^i)-y^i)^2$最小。

  • 模型参数：$\theta_0$、$\theta_1$
  • 假设函数：$h_\theta(x)=\theta_0+\theta_1x$
  • 代价函数：$J(\theta_0,\theta_1)=\frac{1}{2m}\sum_{i=0}^m(h_\theta(x^i)-y^i)^2$

• 扩展——多元线性回归

  • n表示特征的数量
  • 假设函数：$h_\theta(x)=\theta_0x_0+\theta_1x_1+\theta_2x_2+\dots+\theta_nx_n，\theta_0=1$
    • $x=\begin{bmatrix}x_0\\x_1\\\vdots\\x_n\end{bmatrix}$，$\theta=\begin{bmatrix}\theta_0\\\theta_1\\\vdots\\\theta_n\end{bmatrix}$，$h_\theta(x)=\theta^Tx$

二元线性回归算法

• 使用梯度下降算法求解线性回归问题即为线性回归算法
• 线性回归的代价函数是凸函数，因此会得到全局最优解
• 求解过程
  • $\begin{array}{ll}J=0:\frac{\partial}{\partial\theta_0}J(\theta_0,\theta_1)&=\frac{1}{m}\sum_{i=1}^m(h_\theta(x^i)-y^i)\\\\J=1:\frac{\partial}{\partial\theta_1}J(\theta_0,\theta_1)&=\frac{1}{m}\sum_{i=1}^m(h_\theta(x^i)-y^i)\centerdot x^i\\\\\end{array}$
  • $\begin{array}{ll}\theta_0&:=\theta_0-\alpha\frac{1}{m}\sum_{i=1}^m(h_\theta(x^i)-y^i)\\\\\theta_1&:=\theta_1-\alpha\frac{1}{m}\sum_{i=1}^m(h_\theta(x^i)-y^i)\centerdot x^i\end{array}$

多元线性回归算法

• 使用梯度下降算法求解多元线性回归问题

• 求解过程

  $\theta_j:=\theta_j-\alpha\frac{1}{m}\sum_{i=1}^m(h_\theta(x^i)-y^i)\centerdot x_j^i，\space j=0,1,2,\dots,n;\\j表示特征编号，i表示训练集的实例编号$

求解算法

梯度下降算法

• 重复以下步骤直至收敛

  $\theta_j:=\theta_j-\alpha\frac{\partial}{\partial\theta_j}J(\theta)$$，$$for\space j=0,1,2,\dots,n$

  $:=$ ：表示赋值操作

  $\alpha$：为学习速率，控制每次更新的幅度。可理解为下山的步子大小

  运算的时候$\theta_0\space and \space\theta_1$要同时更新

• 实际运算时的步骤

  $\begin{matrix}temp0:=\theta_0-\alpha\frac{\partial}{\partial\theta_0}J(\theta)\\temp1:=\theta_1-\alpha\frac{\partial}{\partial\theta_1}J(\theta)\\\vdots\\tempn:=\theta_n-\alpha\frac{\partial}{\partial\theta_n}J(\theta)\end{matrix}$

  $\begin{matrix}\theta_0:=temp0\\\theta_1:=temp1\\\vdots\\\theta_n:=tempn\end{matrix}$

• 单纯的梯度下降算法得到的是局部最优解，当代价函数为凸函数时，才一定会得到全局最优解。

• 特征值缩放

  • 将每个特征值$x_i$缩放到$-1<x_i<1$的范围，可以有效减少迭代次数，更快收敛。
  • -1和1并不重要，只要缩放后特征值大致在一个相近的范围即可。
  • 可以使用均值归一化方式来进行特征值缩放
    • 用$\frac{x_i-\mu_i}{2S_i}$代替$x_i$使得此特征平均值大概为0，且缩放到合适的范围。$\mu_i$为原来的平均值，$S_i$为极差
    • 例如：$x_1=\frac{x_1-1000}{2000}$

• 判断是否收敛

  • 一般绘制出代价函数值和迭代次数之间的关系图像。迭代次数为横坐标，相应的代价函数值为纵坐标。当图像近乎水平的时候就可视为收敛，此外此图像还可以指示算法是否正常运行。常用
  • 或者使用一些自动判断条件，如当两次迭代值之间的差距小于一个指定的极小值时就视为收敛。

• 选取$\alpha$

  • 当迭代曲线出现上升等异常情况时，可以考虑$\alpha$值过大的问题
  • $\alpha$值一般可以每隔10倍取一个进行测试0.001,0.01,0.1,1,...，最终选取迭代次数较少的一个。

• 适用范围

  • n比较大时，梯度下降法仍然可以正常工作。

标准方程

m个训练集实例$(x^1,y^1),\dots,(x^m,y^m)$，每个实例有n个特征，其中每个特征可表示为一个n+1维的向量，$x^i=\begin{bmatrix}x_0^i\\x_1^i\\x_2^i\\\vdots\\x_n^i\end{bmatrix}$，$X=\begin{bmatrix}(x^1)^T\\(x^2)^T\\\vdots\\(x^m)T\end{bmatrix}$，$y=\begin{bmatrix}y^1\\y^2\\\vdots\\y^m\end{bmatrix}$，此时$\theta=(X^TX)^{-1}X^Ty$。此处得出的$\theta$即为最优值。

使用此方式不需要进行特征缩放和归一化。此方式适用于n比较小的情况n<10000。

$X^TX$不可逆时的处理

• 两种情况
  • 存在多余的、线性相关的特征。删除多余属性
  • 属性过多，而数据太少($m\leq n$)。此时可以考虑删除一些属性或者进行正则化