Jul, 2024

拆解语言模型优化器的优秀特质

HTML
PDF
TL;DR通过实验比较不同优化算法在自回归语言模型中的性能，我们发现除了SGD外，其他算法在性能和超参数选择方面表现相似，因此实际考虑内存限制和实施便捷性等实际因素可以指导优化器的选择。同时我们还将Adam算法简化为Signum和Adalayer两个版本来进行研究，发现Adam算法的预调节主要影响最后一层和LayerNorm参数，而其余层可以使用SGD来训练。
发现论文，激发创造
  • 神经语言模型评估的现状

    通过使用自动超参数调整，重新评估了几种流行的神经网络架构和正则化方法，得出了标准LSTM架构在合适的正则化情况下优于更新模型的惊人结论，并在Penn Treebank和Wikitext-2语料库上建立了新的最先进技术水平，以及在Hutter Prize数据集上建立了强大的基准线。

    Jul, 2017

  • 基于梯度的简单有效序列到序列模型调优

    本研究首次将梯度基础的超参数优化方法应用于序列到序列任务中，为神经机器翻译和自然语言理解任务（通过T5预训练）提供了效率和性能增益。通过超参数优化得到的一些超参数学习时间表可以超过甚至优于最优常值调整。同时，本文还展示了在预训练期间学习超参数可以提高在下游自然语言理解任务中的性能表现。

    Sep, 2022

  • 大规模机器学习Adam不稳定性理论

    本文提出了一个关于大型语言模型训练中先前无法解释的发散行为的理论。该理论说明这一现象是优化算法Adam的副作用。通过观察该算法的参数更新向量和训练损失方向的相关性，我们得出这一结论，并给出了不同规模语言模型的训练观察结果。

    Apr, 2023

  • 噪声不是 SGD 和 Adam 在变形金刚上差距的主要因素，但是符号下降可能是

    Adam优化器在许多架构上的成功使其成为随机梯度下降表现不佳的默认选择，最近的研究表明，Adam和其他启发式算法在语言任务上胜过SGD，因为采样引起的误差分布具有重尾，我们通过对批处理大小进行进一步研究发现，Adam在大批量设置中的行为类似于具有动量的符号下降。

    Apr, 2023

  • Sophia: 用于语言模型预训练的可扩展随机二阶优化器

    本文提出了一种简单的可扩展的二阶优化器Sophia，通过使用对角Hessian的轻量级估计作为预处理器，以梯度的移动平均值除以估计的Hessian的移动平均数为更新，元素级别裁剪控制最坏情况下的更新大小并驯服Hessian的非凸性和快速变化，优化语言模型训练时间和成本。

    May, 2023

  • CAME：基于置信度的自适应内存高效优化

    本研究提出了一种同时具有传统自适应方法快速收敛和内存高效方法的名为CAME的优化器，实验证明它在 NLP 任务中很稳定并具有更高的性能。

    Jul, 2023

  • 重新考虑用于内存高效LLM微调的零阶优化：基准测试

    本研究旨在提出一种采用零阶优化的方法，以减少在大规模语言模型训练中由反向传播算法所引起的显著内存开销，从而实现内存更高效的模型微调。

    Feb, 2024

  • 释放大语言模型作为启发优化器的潜力：一种与基于梯度的模型优化器的类比分析

    自动提示优化是改进大型语言模型性能的重要方法。本文提出了一种新颖的视角，通过与基于梯度的模型优化器进行类比，设计了改进的LLM-based提示优化器的策略。实验结果表明GPO具有有效性和高效性，并分别相对基准方法在Big-Bench Hard和MMLU上带来了多达56.8%和55.3%的额外改进。

    Feb, 2024

  • BAdam: 大型语言模型的内存高效全参数训练方法

    该研究提出了BAdam，一种利用Adam作为内部求解器的块坐标优化框架的优化器。BAdam提供了一种内存高效的方法，用于对大型语言模型进行完全参数微调，通过链式规则属性减少了后向过程的运行时间。实验结果表明，BAdam在比较LoRA和LOMO时表现出优越的收敛行为。此外，我们通过对MT-bench的下游性能评估来评估经过指导调整的模型，结果表明BAdam略优于LoRA，并且在LOMO方面表现更好。最后，我们将BAdam与Adam在一个中等规模任务上进行了比较，即在SuperGLUE基准测试中对RoBERTa-large进行微调，结果表明BAdam能够缩小与Adam之间的性能差距。

    Apr, 2024

  • AdamW的隐式偏差: l∞范数约束优化

    AdamW在语言建模任务中表现出优越的性能，优于具有正则化l2项的Adam算法，本文通过分析表明AdamW隐式地进行了约束优化。

    Apr, 2024