机器学习笔记2-监督学习应用：梯度下降

本节主要讲了监督学习中线性回归的方法。首先是梯度下降方法，只有一个样本时的公式推导，然后扩展到m个样本，这种方法称为批量梯度下降。但是因为批量梯度下降每次需要遍历所有样本数据，当样本量太大时不可取，所以提出了随机/增量梯度下降方法。这种方法比批量梯度下降速度快，但是不会收敛到精确的局部最小值。另一种方法正规方程组，不依赖梯度下降中的分布迭代，直接对J求偏导，并且使偏导为0，来求得J的极值点。

笔记参考https://github.com/zlotus/notes-LSJU-machine-learning/blob/master/chapter02.ipynb