一、梯度下降法的类型
1、批量梯度下降法（Batch Gradient Descent）
● 每一次都对所有样本进行计算，求出梯度。
● 缺点：运算速度较慢。
● 优点：稳定，按此梯度方向，损失函数一定减小最快。 阅读全文机器学习算法笔记(十一)：梯度下降法总结
机器学习算法笔记(十)：随机梯度下降法
我们上一篇文章讨论的梯度下降法是要将我们想要最优化的那个损失函数相应在某一点 θ 的梯度值准确的求出来。要想求出准确的梯度，每一项都要对所有的样本进行计算，这样的梯度下降法又被称为批量梯度下降法(Batch Gradient Descent)，每一次的计算过程都要将样本中所有的信息批量进行计算。但若我们的样本量非常大，我们的算法在计算梯度时就会非常耗时。为了解决样本量过大时的运行效率问题，我们就提出了随机梯度下降法(Stochastic Batch Gradient Descent)。 阅读全文机器学习算法笔记(十)：随机梯度下降法
机器学习算法笔记(九)：多元线性回归中的梯度下降法
机器学习算法笔记(八)：梯度下降法初探
梯度下降法(Gradient Descent)不是一个机器学习算法，是一种基于搜索的最优化方法。它的作用是最小化一个损失函数（与之对应的，梯度上升法的作用是最大化一个效用函数）。机器学习中，熟练的使用梯度法（下降法、上升法）求取目标函数的最优解，是非常重要的思想。 阅读全文机器学习算法笔记(八)：梯度下降法初探