CVPRNov, 2018
Adam 和 RMSProp 收敛的充分条件
A Sufficient Condition for Convergences of Adam and RMSProp
Fangyu Zou, Li Shen, Zequn Jie, Weizhong Zhang, Wei Liu
TL;DR介绍了一种易于检查的充分条件,仅依赖于基本学习率和历史二阶动量的组合,以保证泛型 Adam/RMSProp 的全局收敛性,同时证明了几种变体的收敛性,并且阐明了 Adam 和 RMSProp 的本质区别。