Oct, 2019
一种自适应瞬时边界方法用于随机学习
An Adaptive and Momental Bound Method for Stochastic Learning
Jianbang Ding, Xuancheng Ren, Ruixuan Luo, Xu Sun
TL;DR本文提出了 AdaMod 方法来限制 Adam 方法中出现的极端学习率问题,实现深度神经网络的稳定而高效训练,对于复杂网络,如 DenseNet 和 Transformer,与 Adam 方法相比,AdaMod 方法带来了显著的改进。