Feb, 2024

为什么变形器需要 Adam：从 Hessian 的角度看

PDF
TL;DRSGD 在 Transformers 上表现明显不如 Adam，我们通过 Hessian 镜头提供了 SGD 在 Transformers 上失败的解释：(1) Transformers 是 “异质” 的：参数块之间的 Hessian 频谱差异巨大，我们称之为 “块异质性” 现象；(2) 异质性妨碍了 SGD 的表现：SGD 在具有块异质性的问题上表现不好。通过验证，在不存在块异质性的问题上，我们发现 SGD 表现良好，但在存在异质性的问题上表现不佳。我们的初步理论分析表明，SGD 失败是因为它对所有块应用了相同的学习率，无法处理块之间的异质性。如果我们能够针对不同的块分配不同的学习率，就能挽救 SGD 的失败，就像 Adam 中设计的那样。
sgdadamtransformershessianblock heterogeneity
发现论文，激发创造
  • 噪声不是 SGD 和 Adam 在变形金刚上差距的主要因素，但是符号下降可能是

    Adam 优化器在许多架构上的成功使其成为随机梯度下降表现不佳的默认选择，最近的研究表明，Adam 和其他启发式算法在语言任务上胜过 SGD，因为采样引起的误差分布具有重尾，我们通过对批处理大小进行进一步研究发现，Adam 在大批量设置中的行为类似于具有动量的符号下降。

    Apr, 2023

  • 深度学习中随机梯度下降泛化优于 ADAM 方法的理论解释

    该研究旨在通过分析局部收敛行为来解释为什么类似 ADAM 的适应性梯度算法的泛化性能比 SGD 差，尤其是它们在梯度噪声方面存在重尾现象；研究结果表明，SGD 相比于 ADAM 能更好地从局部最小值中逃脱，并且在平缓的最小值处表现更好。实验结果证实了我们的理论假设。

    Oct, 2020

  • 探寻变形金刚为何 Adam 比 SGD 更快收敛

    这篇论文提出了一种新的方向锐度概念，阐述了优化算法与更新步长的方向锐度的关系，发现随机梯度下降在这方面表现远差于自适应算法，因此建议使用坐标剪裁该问题，并证明了该技术可用于提高深度学习优化的收敛速度。

    May, 2023

  • 基于 Hessian 的 SGD 分析：深度网络的动力学和泛化

    本文通过对训练损失函数的海森矩阵及其相关量的分析，探讨了随机梯度下降（SGD）的优化动态和泛化行为等三个问题，并在合成数据、MNIST 和 CIFAR-10 数据集上进行了大量实验支持其理论结果。

    Jul, 2019

  • 理解 Transformer 训练的难点

    分析了 Transformer 模型训练稳定性问题的核心，提出了一种新的模型初始化方法 Admin，实验证明 Admin 方法可以提高模型的稳定性、加速收敛并且提高准确性。

    Apr, 2020

  • 重尾类不平衡问题及 Adam 在语言模型上的优越性

    Adam 优化算法在大型语言模型上的性能明显优于梯度下降算法，主要原因是语言建模任务中存在的类别不平衡导致优化动态困难。

    Feb, 2024

  • 由 Adam 优化器转为 SGD 优化器提升泛化性能

    提出一种混合方法 SWATS 进行训练，开头使用自适应方法 Adam，后期如果符合一定条件则切换至 SGD。实验证明，SWATS 能够缩短自适应方法和 SGD 之间的泛化差距，在多数任务上表现良好。

    Dec, 2017

  • 将 Adam 推广到流形上以高效训练 Transformers

    通过利用特殊结构（如 Stiefel 流形、simplectic Stiefel 流形、Grassmann 流形和 simplectic Grassmann 流形）对神经网络优化进行降维处理，成功地将 Adam 算法推广到了流形层面上，并将其用于训练转换器，可以有效地加速训练过程。

    May, 2023

  • 基于 Hessian 的大批量训练分析与对抗性鲁棒性

    本文探讨了通过 Hessian 算子和鲁棒优化来训练大批量神经网络的方法，并证明了大批量训练会将模型收敛到一个具有更高 Hessian 谱的点，而鲁棒训练可以在损失函数中偏向于平缓区域，从而达到鲁棒性。此外，实验和理论证明了鲁棒训练是一个大部分情况下不存在鞍点的优化问题。

    Feb, 2018

  • 剖析 Adam：随机梯度的符号、大小和方差

    研究表明，ADAM 优化器在深度学习中非常流行，但是对于泛化效果差的问题，将方差适应应用到 SGD 中会出现一种新的方法。

    May, 2017