几种梯度下降(GD)法的比较（转载）2017-07-10·1089 字·3 分钟Deep-Learning 梯度下降 计算机视觉参考资料 机器学习中梯度下降（Gradient Descent， GD）算法只需要计算损失函数的一阶导数，计算代价小，非常适合训练数据非常大的应用。 梯度下降法的物理意义很好理解，就是沿着当前点的梯度方向进行线搜索，找到下一个迭代点。但是，为什么会派生出 batch、mini-batch、online 这些 GD 算法呢？
