本文提出了一个混合 Adam 和非线性共轭梯度方法的共轭梯度 Adam 算法，并展示其收敛分析。在文本分类和图像分类上的数值实验表明，该算法可以在比现有的自适应随机优化算法更少的时代数内训练深度神经网络模型。

Feb, 2020

本文提出了一种基于非线性共轭梯度框架的快速训练方法，采用二次线搜索和动态更新动量因子的方式，该方法能够更快地收敛且避免了繁琐的超参数手动调整。实验结果表明该方法在图像分类数据集上的广义能力比其他本地求解器更好。

Jun, 2021

这项研究提出了一种基于隐式 - 显式欧拉离散化的一阶 Adam 算法，并通过对普通微分方程的高阶隐式 - 显式方法求解，得到了一种优于经典 Adam 算法的新型神经网络训练优化算法。

Mar, 2024

引入了 MADGRAD 优化方法，其表现优异，不仅适用于视觉领域中的分类和图像转换任务，还适用于自然语言处理中的循环和双向掩蔽模型。在每个任务中，MADGRAD 的测试结果均优于 SGD 和 ADAM，并且在自适应方法通常表现差的问题上也表现出色。

Jan, 2021

本文提供了自适应矩估计（Adam）算法对于广泛类别的优化目标的收敛性严谨证明，并在更为现实的条件下证明了 Adam 算法可收敛于 ε- 稳定点。同时，我们提出了一种方差抑制的加速梯度复杂度版本的 Adam 算法。

Apr, 2023

提出了一种名为 AdaBelief 的优化器，通过根据当前梯度方向的 “信任度” 调整步长，同时达到了收敛速度快、泛化性能好和训练稳定的三个目标，并在图像分类和语言建模等领域的实验中证明了其优越性。

Oct, 2020

提出了一种分布式的自适应优化方法 (extsc {Dadam})，它允许数据并行计算和分散的计算，在某些损失函数的应用中能够优于集中式自适应算法。

Jan, 2019

该研究提出 Adam 和 AMSGrad 优化算法在处理超参数均衡性问题上收敛证明难以解决，提供了多种解决方法并实验证明了效果。

Apr, 2019

本研究提出了基于 ADAM 和 RMSprop 的二阶梯度方法用于生成对抗网络的训练，与其他二阶方法相比，该方法无需解线性系统或添加混合二阶导数项，与一阶方法相比具有更好的生成图像质量和可比较的 Inception 分数。

Apr, 2023

通过给 Adam 算法加上‘长期记忆’过去梯度的方法，不仅可以解决收敛问题，而且经常提高算法的实验性能。

Apr, 2019