May, 2023

Sophia: 用于语言模型预训练的可扩展随机二阶优化器

PDF
TL;DR本文提出了一种简单的可扩展的二阶优化器 Sophia，通过使用对角 Hessian 的轻量级估计作为预处理器，以梯度的移动平均值除以估计的 Hessian 的移动平均数为更新，元素级别裁剪控制最坏情况下的更新大小并驯服 Hessian 的非凸性和快速变化，优化语言模型训练时间和成本。
language modeloptimization algorithmsophiahessian-based optimizersgpt-2
发现论文，激发创造
  • 深度学习可扩展的二阶优化

    本文尝试缩小理论优化与实际优化之间的差距，提出了一种可扩展的二阶预处理方法来优化深度模型，利用异构硬件架构进行训练，相比于常规一阶方法在机器翻译、语言建模、点击率预测和图像分类等任务中表现出优异的性能。

    Feb, 2020

  • ADAHESSIAN：适应性的机器学习二阶优化器

    该论文介绍了 ADAHESSIAN 这种基于自适应 Hessian 估计的二阶随机优化算法，通过运用 Hutchinson 方法来降低其计算成本，以及采用块对角平均方法减少 Hessian 对角元素的方差和 RMSE 指数平滑法平滑 Hessian 对角线变化。该算法在图像分类，自然语言处理，推荐系统等任务中展现出比 Adam 等自适应算法更好的性能，并且每次迭代的成本与一阶优化算法相当。

    Jun, 2020

  • SANIA：Polyak 类型优化框架导致尺度不变的随机算法

    SANIA 是一个优化框架，通过自适应优化方法和预条件方法，解决了在训练深度神经网络中需要手动微调步长和处理问题缩放或病态的挑战。在分类任务中，包括凸和非凸情境下进行了广泛实证研究。

    Dec, 2023

  • Fed-Sophia: 一个高效的二阶联邦学习算法

    本文章介绍了一个可扩展的二阶方法 Fed-Sophia，通过结合梯度的加权移动平均和剪切操作来寻找下降方向，并使用海森矩阵对角线的轻量级估计来融入曲率信息。数值评估表明，与一阶和二阶基准相比，所提出的 Fed-Sophia 算法在优越性、鲁棒性和可扩展性方面表现出色。

    Jun, 2024

  • 一个可靠的分布式二阶算法

    本文提出了一种新的分布式广义线性模型训练算法，只需计算各工作器上的 Hessian 矩阵的对角块，然后提出了一种自适应方法以应对近似信息并展示了其在多个基准数据集上表现出的最新结果并显著优于现有算法。

    Jun, 2018

  • Jorge：高效 GPU 二阶最优化的近似预处理

    本文介绍了 Jorge，一种第二阶优化器，它通过省略矩阵求逆的计算，结合了第二阶方法的快速收敛性和第一阶方法的高计算效率。还提出了一种从 SGD 基准直接确定 Jorge 超参数的方法，从而显著减少调参工作。实证评估结果表明，在多个深度学习模型中，Jorge 优于 SGD、AdamW 和 Shampoo 等最先进的优化器，无论是在样本效率还是墙钟时间上。

    Oct, 2023

  • 二阶优化中的模糊超参数更新

    这篇研究介绍了一种混合方法，用于加快二阶优化中的收敛速度。介绍了对角黑塞矩阵的在线有限差分近似方法，以及对多个超参数的模糊推理。取得了竞争力的结果。

    Mar, 2024

  • LLM 模型的无痛二阶微调：基于黑塞矩阵的零阶优化器

    使用对角度黑塞矩阵增强零阶优化算法以提高大型语言模型的微调效果，显著减少训练步骤并有效增强模型准确性。

    Feb, 2024

  • 内存高效的自适应优化

    本文介绍了一种效率高、灵活性强、内存占用少的自适应优化方法，保留了每个参数的自适应性优势，同时允许使用更大的模型和批量大小，具有很好的收敛性和训练效果。

    Jan, 2019

  • Eva: 二阶优化的通用向量化近似框架

    我们提出了一种记忆和时间高效的二阶算法 Eva，通过使用小批量训练数据的 Kronecker 因式分解构建二阶信息以减少内存消耗，并使用 Sherman-Morrison 公式推导出高效的更新公式，将 Eva 扩展为通用的向量化近似框架以提高现有二阶算法（FOOF 和 Shampoo）的计算和内存效率。在不影响收敛性能的情况下，对不同模型和数据集进行的广泛实验结果表明，与一阶 SGD 和二阶算法（K-FAC 和 Shampoo）相比，Eva 可将端到端训练时间减少 2.05 倍和 2.42 倍。

    Aug, 2023