铭牌厂家
免费服务热线

Free service

hotline

010-00000000
铭牌厂家
热门搜索:
技术资讯
当前位置:首页 > 技术资讯

关于深度学习优化器optimizer的选择你需要了解这些_[#第一枪]

发布时间:2021-06-07 17:41:40 阅读: 来源:铭牌厂家

雷锋网按:本文作者杨熹,原文载于作者个人博客,雷锋网已获授权。

在很多机器学习和深度学习的应用中,我们发现用的最多的优化器是 Adam,为什么呢?

下面是 TensorFlow 中的优化器:

详情参见:https://www.tensorflow.org/api_guides/python/train

在 keras 中也有 SGD,RMSprop,Adagrad,Adadelta,Adam 等,详情:

https://keras.io/optimizers/

我们可以发现除了常见的梯度下降,还有 Adadelta,Adagrad,RMSProp 等几种优化器,都是什么呢,又该怎么选择呢?

在 Sebastian Ruder 的这篇论文中给出了常用优化器的比较,今天来学习一下:

原文

PPO再生料价格

数码相机

二手修井设备

相关阅读