关于深度学习优化器optimizer的选择你需要了解这些_[#第一枪]

雷锋网按：本文作者杨熹，原文载于作者个人博客，雷锋网已获授权。

在很多机器学习和深度学习的应用中，我们发现用的最多的优化器是 Adam，为什么呢？

下面是 TensorFlow 中的优化器：

详情参见：https://www.tensorflow.org/api_guides/python/train

在 keras 中也有 SGD，RMSprop，Adagrad，Adadelta，Adam 等，详情：

https://keras.io/optimizers/

我们可以发现除了常见的梯度下降，还有 Adadelta，Adagrad，RMSProp 等几种优化器，都是什么呢，又该怎么选择呢？

在 Sebastian Ruder 的这篇论文中给出了常用优化器的比较，今天来学习一下：

原文

PPO再生料价格

数码相机

二手修井设备