Adam优化器杂谈
文章目录
文章来自:微信公众号【机器学习炼丹术】
最常用的Adam优化器,有着收敛速度快、调参容易等优点,但是也存在经常被人吐槽的泛化性问题和收敛问题。
因此,在很多大佬的代码中,依然会使用传统的SGD+momentum的优化器。
关于两个优化器的比较,仁者见仁智者见智,可以看一下这篇文章,有简单的关于这两个优化器的代码实现和效果比较:
Pytorch的SGD,SGDM,Adam,RAdam的代码实现
这篇文章就随便的谈一谈下面的问题,来让大家扩展一下知识:
- Adam被攻击的泛化问题和收敛问题;
Adam是什么
对机器学习有了解的朋友,应该对Adam优化器不陌生了。大体来说就是Momentum + Adagrad + RMSProp的结合。

【如果需要的话,之后可以简单易懂的通俗讲讲各种类型的优化器的算法】
从Adam和SGDM中就可以得知,Momentum是一个很好的设计。
Adam的两个吐槽
泛化问题
在讨论模型泛化问题的时候,我们会希望模型找到的极小值(收敛位置),是一个比较平缓、不陡峭的位置!,原因看下图:

这里有一张图,可以看到,虽然Adam在训练集中收敛速度最快,但是测试集的效果并不是非常的好。
收敛问题
Adam在某些情况下会出现无法收敛的情况,最著名的关于这个问题的Adam的吐槽就是这个论文:
2018 ICLR的best paper:On the Convergence of Adam and Beyond
但是这个问题其实并不是我们这种人经常会遇到的,反而泛化问题是一个真正的困扰。
改进Adam
learning rate scheduling
大佬们经常用的一个learning rate scheduling方案就是warn-up+decay。
【warn-up】
是指不要一开始用高的learning-rate,应该要从低的慢慢增大到base-learning rate。学习率从小到大。
【decay】
随着optimization的步数的增长,逐渐降低learning rate。
Decay的部分其实很常见,所有的人都会用,但是warn-up其实就有点诡异了,在ResNet的论文中其实可以看到这个。
RAdam
Radam 是在warm up的时候提出了一些有效的策略。
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论