本文研究了使用自适应优化方法训练深度神经网络的表现，提出了一些简单超参数问题，发现自适应方法得到的结果往往比梯度下降方法差，甚至可能导致结果更糟糕，建议实践者重新考虑使用自适应方法训练神经网络。

May, 2017

提出一种混合方法 SWATS 进行训练，开头使用自适应方法 Adam，后期如果符合一定条件则切换至 SGD。实验证明，SWATS 能够缩短自适应方法和 SGD 之间的泛化差距，在多数任务上表现良好。

Dec, 2017

本文研究一类自适应梯度基于动量的算法，这些算法同时使用过去的梯度更新搜索方向和学习率。该类算法被称为Adam类型，研究了一些充分条件，保证了这些方法在解决非凸优化问题时的收敛性，为训练深度神经网络提供了理论支持。另外，文中提出了一类（确定性）增量自适应梯度算法，收敛速度与Adam类型算法相同，可以应用于更广泛的机器学习和优化问题。

Aug, 2018

本文提供了关于一类自适应梯度方法（包括AMSGrad，RMSProp和AdaGRad）在光滑非凸函数优化方面的收敛性分析，证明了期望下自适应梯度方法能够收敛到一阶稳定点，同时还证明了AMSGrad，RMSProp和AdaGrad的收敛速率，这些结论有助于更好地理解自适应梯度方法在优化非凸目标时的机制。

Aug, 2018

本次研究是ICLR Reproducibility Challenge 2019的一部分，旨在重现文章PADAM: Closing The Generalization Gap of Adaptive Gradient Methods In Training Deep Neural Networks的结果。本文针对过去所提出的自适应梯度算法在一般化性能上不如带有动量项的随机梯度下降（SGD）的问题进行设计，并引入新的可调参数，部分自适应参数p，使其在自适应梯度算法和带有动量项的SGD之间建立桥梁。

Jan, 2019

本文提出了AdaBound和AMSBound两种新型变体算法，通过采用动态的学习率边界来实现自适应方法与SGD方法之间的平稳过渡，证明了它们的收敛性，并在各种任务和模型上进行了充分的实验，结果表明这两种方法可以消除自适应方法与SGD之间的“普适-泛化”差距，同时在训练初期保持更高的学习速度和取得显著的改进表现。

Feb, 2019

通过研究神经网络中的优化算法，提出了一个名为“自适应惯性”的新方法，能够更好地训练神经网络并提高泛化性能。

Jun, 2020

本文考察了随机梯度下降（SGD）算法过程中的冲量（momentum）对深度学习模型的收敛和泛化的影响，提出了冲量在提高泛化能力方面的新视角，并在一个一层卷积神经网络的分类问题中得出，使用加冲量的梯度下降（GD+M）算法可以有效提高模型的泛化能力。

Jul, 2022

我们提出并研究了一种基于经验估计目标函数值的学习率自适应方法，用于随机梯度下降优化方法，并在多个神经网络学习问题中实施。我们证明了学习率自适应变体的SGD优化方法对于一类简单的二次最小化问题收敛于最小化器。

Jun, 2024

该论文通过证明当损失函数平滑并满足PL不等式时，自适应梯度方法AdaGrad和Adam可以实现线性收敛。该理论框架采用简单而统一的方法，适用于批量和随机梯度，并可以潜在地用于分析其他Adam变种的线性收敛。

Jul, 2024