Intro
机器学习（深度学习）中的训练（或者说学习）离不开的就是如何有效率地改进参数，达到更优状态，在这个过程中，优化算法起到了决定性的作用：模型能否收敛、是否收敛到全局最优（而不是局部最优和鞍点）、能多块收敛（事关训练效率）。
可以说算力增速难以填充需求的当下，优秀的优化算法对训练效率可能会带来更加显著的提升。
常见的优化算法：
SGD随机梯度下降、NGD自然梯度下降、RMSprop、Adam、Momentum、AdamGrad等等。
如果您喜欢此博客或发现它对您有用，则欢迎对此发表评论。 也欢迎您共享此博客，以便更多人可以参与。 如果博客中使用的图像侵犯了您的版权，请与作者联系以将其删除。 谢谢 ！