本文介绍一种通用的方法来提高基于梯度的优化算法的收敛速度，通过将该方法应用到随机梯度下降、带有Nesterov动量的随机梯度下降和Adam等常用算法上，我们展示了该方法在一系列优化问题中的有效性，大大减少了对这些算法的初始学习率进行手动调整的需求；我们的方法通过使用与更新规则自身的学习率相关的梯度在优化过程中动态更新学习率，计算这个“超梯度”需要很少的额外计算，只需要将原始梯度的一个额外副本存储在内存中，并且只依靠于反向模式自动微分提供的内容。

Mar, 2017

本文研究了使用自适应优化方法训练深度神经网络的表现，提出了一些简单超参数问题，发现自适应方法得到的结果往往比梯度下降方法差，甚至可能导致结果更糟糕，建议实践者重新考虑使用自适应方法训练神经网络。

May, 2017

通过贝叶斯滤波的方法，我们提出了一种新的神经网络优化器AdaBayes，能够自适应地在SGD和Adam之间切换，并且能够恢复出AdamW的效果，同时具有和SGD相当的泛化性能。

Jul, 2018

本文研究一类自适应梯度基于动量的算法，这些算法同时使用过去的梯度更新搜索方向和学习率。该类算法被称为Adam类型，研究了一些充分条件，保证了这些方法在解决非凸优化问题时的收敛性，为训练深度神经网络提供了理论支持。另外，文中提出了一类（确定性）增量自适应梯度算法，收敛速度与Adam类型算法相同，可以应用于更广泛的机器学习和优化问题。

Aug, 2018

介绍了一种易于检查的充分条件，仅依赖于基本学习率和历史二阶动量的组合，以保证泛型Adam/RMSProp的全局收敛性，同时证明了几种变体的收敛性，并且阐明了Adam和RMSProp的本质区别。

Nov, 2018

本文提出一种自适应学习率原则，通过将Adam中的平方梯度的运行平均替换为加权平均来实现。该方法比解决Adam中不稳定或过大的自适应学习率的AMSGrad和AdaBound等方法更有效，在机器翻译，自然语言理解和大批量预训练BERT方面展现出更理想的收敛行为。

Jun, 2020

本研究通过对Adam优化器家族进行分析，提出了一种适用于包括min-max、组合和双层优化问题的简单且通用的渐进收敛证明方法，并证明了使用随机梯度估计器的方差减少结果。

Dec, 2021

本文提供了自适应矩估计（Adam）算法对于广泛类别的优化目标的收敛性严谨证明，并在更为现实的条件下证明了Adam算法可收敛于ε-稳定点。同时，我们提出了一种方差抑制的加速梯度复杂度版本的Adam算法。

Apr, 2023

通过考虑损失函数信息以获得更好的泛化结果，我们提出了一种AdamL优化算法，该算法是Adam优化器的一种新变体。我们提供了足够的条件，以及Polyak-Lojasiewicz不等式，确保了AdamL的线性收敛性。与此分析的副产品，我们还证明了EAdam和AdaBelief优化器具有类似的收敛性质。基准函数上的实验结果表明，与Adam、EAdam和AdaBelief相比，AdamL通常实现了最快的收敛速度或最低的目标函数值。当考虑到深度学习任务时，如训练卷积神经网络、使用普通卷积神经网络训练生成对抗网络以及长短时记忆网络，这些卓越的性能得到了证实。最后，在普通卷积神经网络的情况下，AdamL优于其他Adam的变体，并且在训练的后期阶段不需要手动调整学习率。

Dec, 2023

该论文在最宽松的坐标普适光滑性和仿射噪声方差假设下，为RMSProp和Adam在非凸优化中提供了首个收敛性分析，首先分析了RMSProp，然后将分析推广到Adam，表明它们的迭代复杂度与复杂性下界一致。

Apr, 2024