Mar, 2024

Adapprox：通过随机低秩矩阵在 Adam 优化中进行自适应逼近

PDF
TL;DRAdapprox 是一种使用随机低秩矩阵近似来更有效准确地近似 Adam 的二次矩的新方法，在 GPT-2 训练和下游任务中，Adapprox 相比 AdamW 能够实现 34.5％到 49.9％和 33.8％到 49.9％的内存节省，并且它通过提高收敛速度和改进下游任务性能相对于其他方法。
deep learning modelsoptimizersmemory consumption challengesmatrix approximationadapprox
发现论文，激发创造
  • Adafactor：自适应学习率与亚线性内存成本

    该论文提出了一种基于行和列之和的移动平均数的方法，用于估计神经网络权重矩阵的参数，并解决了自适应方法在更新时产生的过大更新的问题。该方法能够在很少的辅助存储空间中达到与 Adam 默认规则相当的结果。

    Apr, 2018

  • 局部低秩假设下的矩阵近似

    该研究提出了一种新的矩阵逼近模型，其中假设只有部分的矩阵是局部低秩的，并将观测矩阵表示为低秩矩阵的加权和，实验表明该方法在推荐任务中可以提高预测准确度。

    Jan, 2013

  • Adam-mini: 更少的学习率，取得更多的收益

    Adam-mini 是一个优化器，通过减少内存占用量（相较于 AdamW 减少了 45％至 50％）来实现与之相当或更好的性能。Adam-mini 通过减少 Adam 中的学习率数量来降低内存使用，使用预定义参数块中 $v$ 的平均值作为该块的学习率。通过在各种语言模型上进行实证验证，我们发现 Adam-mini 在预训练、监督微调和增强学习等方面显示出与 AdamW 相当或更好的性能，同时还减少了通信开销，并提高了吞吐量。

    Jun, 2024

  • 内存高效的自适应优化

    本文介绍了一种效率高、灵活性强、内存占用少的自适应优化方法，保留了每个参数的自适应性优势，同时允许使用更大的模型和批量大小，具有很好的收敛性和训练效果。

    Jan, 2019

  • 低秩矩阵分解的随机算法：尖锐性能界限

    本文研究文献中关于维数约减最常讨论的算法之一，即用低秩矩阵来近似输入矩阵的算法。我们介绍了 Martinsson 等人（2008）中算法的新颖分析方法，可以得出尖锐的估计和关于其性能的新见解。通过实验，我们证明了我们预测的紧密性与经验观测的一致性。

    Aug, 2013

  • 通过近似正交约束的鲁棒低秩训练

    介绍了一种在保证模型精度的情况下，同时降低深度学习中推理和训练成本，并通过基于神经网络条件数的模型稳健性表明低秩矩阵分解（low-rank matrix factorizations）容易导致模型鲁棒性的问题，提出了一种基于鲁棒低秩矩阵训练的算法，通过施加近似正交约束，保证了低秩表示与近似完整的模型之间精度。通过实验证明降低深度学习模型中推理和训练成本的同时，提高了模型的鲁棒性。

    Jun, 2023

  • 可扩展自适应随机投影随机优化

    通过随机降维的方式，提出了 Ada-LR 和 RadaGrad 两种有效的逼近全矩阵 AdaGrad 的算法，能够在减少计算 cost 的同时保证和全矩阵 AdaGrad 相似的性能，其中 RadaGrad 在卷积神经网络和循环神经网络的训练中能够实现更快的收敛速度。

    Nov, 2016

  • CAME：基于置信度的自适应内存高效优化

    本研究提出了一种同时具有传统自适应方法快速收敛和内存高效方法的名为 CAME 的优化器，实验证明它在 NLP 任务中很稳定并具有更高的性能。

    Jul, 2023

  • KrADagrad：克罗内克近似主导梯度预处理随机优化

    该论文提出了一种新颖的矩阵分解方法 Kronecker Approximation-Domination (KrAD)，用于直接近似实验 Fisher 矩阵的逆，避免了反转和 64 位精度，从而实现与 Shampoo 相似的计算成本和相同的 regret，同时在 32 位精度下比 Shampoo 表现更好。

    May, 2023

  • 基于共轭梯度类自适应矩估计优化算法的深度学习

    通过将共轭普通梯度方法与 Adam 相结合，提出了一种名为 CG-like-Adam 的用于深度学习的新型优化算法，以加速训练并提升深度神经网络的性能。在该算法中，用共轭普通梯度方法替代了 Adam 的一阶和二阶矩估计，数值实验证明了该算法在 CIFAR10/100 数据集上的优越性。

    Apr, 2024