噪声不是 SGD 和 Adam 在变形金刚上差距的主要因素，但是符号下降可能是

Apr, 2023

噪声不是 SGD 和 Adam 在变形金刚上差距的主要因素，但是符号下降可能是

Noise Is Not the Main Factor Behind the Gap Between SGD and Adam on Transformers, but Sign Descent Might Be

Frederik Kunstner, Jacques Chen, Jonathan Wilder Lavington, Mark Schmidt

TL;DRAdam 优化器在许多架构上的成功使其成为随机梯度下降表现不佳的默认选择，最近的研究表明，Adam 和其他启发式算法在语言任务上胜过 SGD，因为采样引起的误差分布具有重尾，我们通过对批处理大小进行进一步研究发现，Adam 在大批量设置中的行为类似于具有动量的符号下降。

Abstract

The success of the adam optimizer on a wide array of architectures has made it the default in settings where stochastic gradient descent (SGD) performs poorly. However, our theoretical understanding of this discr

adam optimizer stochastic gradient descent batch size heavy-tailed noise language tasks

发现论文，激发创造

深度学习中随机梯度下降泛化优于 ADAM 方法的理论解释

该研究旨在通过分析局部收敛行为来解释为什么类似 ADAM 的适应性梯度算法的泛化性能比 SGD 差，尤其是它们在梯度噪声方面存在重尾现象；研究结果表明，SGD 相比于 ADAM 能更好地从局部最小值中逃脱，并且在平缓的最小值处表现更好。实验结果证实了我们的理论假设。

Oct, 2020

重尾类不平衡问题及 Adam 在语言模型上的优越性

Adam 优化算法在大型语言模型上的性能明显优于梯度下降算法，主要原因是语言建模任务中存在的类别不平衡导致优化动态困难。

Feb, 2024

探寻变形金刚为何 Adam 比 SGD 更快收敛

这篇论文提出了一种新的方向锐度概念，阐述了优化算法与更新步长的方向锐度的关系，发现随机梯度下降在这方面表现远差于自适应算法，因此建议使用坐标剪裁该问题，并证明了该技术可用于提高深度学习优化的收敛速度。

May, 2023

自适应方法对注意力模型有什么好处？

本研究表明，一种重尾梯度噪声是 SGD 性能不佳的原因之一，而剪辑梯度可应用于 BERT 预训练和微调任务中，以提高性能。

Dec, 2019

剖析 Adam：随机梯度的符号、大小和方差

研究表明，ADAM 优化器在深度学习中非常流行，但是对于泛化效果差的问题，将方差适应应用到 SGD 中会出现一种新的方法。

May, 2017

理解随机梯度下降和自适应梯度方法之间的鲁棒性差异

使用随机梯度下降和自适应梯度方法来训练深度神经网络，通过实验证明，尽管使用这些方法训练的模型的标准泛化性能之间的差异很小，但使用随机梯度下降来训练的模型在输入扰动下表现出更高的鲁棒性。同时研究了梯度下降和符号梯度下降在模拟自然信号的合成数据集上的学习动态，并发现使用梯度下降优化的模型对 l2 - 范数有界变化的鲁棒性与模型参数的权重范数成反比，解释了与自适应梯度方法训练的模型相比，使用随机梯度下降训练的神经网络对输入扰动有更好的鲁棒性。

Aug, 2023

标准化方向保留 Adam

本文提出了一种变种 Adam 算法 - 基于方向保持且具有归一化的 Adam 算法 (ND-Adam)，通过更精确的权重向量更新来消除 Adam 和 SGD 之间的推广差距，并进一步改善了分类任务中的推广性能。

Sep, 2017

随机符号下降方法：新算法和更好的理论

本文介绍了一种基于符号的压缩方法，即 Stochastic Sign Descent with Momentum（SSDM）, 用于在分布式环境下解决符号 SGD 方法的收敛问题，同时可以保持 1 位压缩和小批量大小。

May, 2019

为什么变形器需要 Adam：从 Hessian 的角度看

SGD 在 Transformers 上表现明显不如 Adam，我们通过 Hessian 镜头提供了 SGD 在 Transformers 上失败的解释：(1) Transformers 是 “异质” 的：参数块之间的 Hessian 频谱差异巨大，我们称之为 “块异质性” 现象；(2) 异质性妨碍了 SGD 的表现：SGD 在具有块异质性的问题上表现不好。通过验证，在不存在块异质性的问题上，我们发现 SGD 表现良好，但在存在异质性的问题上表现不佳。我们的初步理论分析表明，SGD 失败是因为它对所有块应用了相同的学习率，无法处理块之间的异质性。如果我们能够针对不同的块分配不同的学习率，就能挽救 SGD 的失败，就像 Adam 中设计的那样。

Feb, 2024

由 Adam 优化器转为 SGD 优化器提升泛化性能

提出一种混合方法 SWATS 进行训练，开头使用自适应方法 Adam，后期如果符合一定条件则切换至 SGD。实验证明，SWATS 能够缩短自适应方法和 SGD 之间的泛化差距，在多数任务上表现良好。

Dec, 2017