Jul, 2024

跨參數調整與優化器的擴展指數

HTML
PDF
TL;DR参数扩展研究中，我们提出了一种新的参数化视角，探究了前期研究中关于参数和数据对齐的关键假设，并在较弱的假设和更广泛的优化器集合下得出新的理论结果。实证研究结果表明，所有参数化方法都可以实现超参数迁移，我们为标准参数化提出了一个新的逐层学习率计算方法，优于最大更新参数化方法。此外，我们指出了参数化中被忽视的一个方面——Adam中的epsilon参数必须正确缩放以避免梯度下溢，并提出了Adam-atan2，一个新的数值稳定、无尺度超参数的Adam版本。
发现论文，激发创造
  • 神经网络超参数的纪律性方法：第1部分——学习速率、批量大小、动量和权重衰减

    本文介绍了几种有效的设置超参数的方法，以显著减少训练时间并提高性能。具体来说，报告展示了如何检查训练验证/测试损失函数以获取欠拟合和过拟合的微妙线索，并提供了朝向最佳平衡点的指南。同时还讨论了如何增加/减少学习率/动量以加速训练，并解释了如何在每个数据集和架构的所有正则化之间保持平衡的重要性。本文的实验表明，使用权重衰减作为示例正则化器，其优化值与学习率和动量密切相关。

    Mar, 2018

  • Adam系列算法的新收敛分析

    本研究通过对Adam优化器家族进行分析，提出了一种适用于包括min-max、组合和双层优化问题的简单且通用的渐进收敛证明方法，并证明了使用随机梯度估计器的方差减少结果。

    Dec, 2021

  • 大规模机器学习Adam不稳定性理论

    本文提出了一个关于大型语言模型训练中先前无法解释的发散行为的理论。该理论说明这一现象是优化算法Adam的副作用。通过观察该算法的参数更新向量和训练损失方向的相关性，我们得出这一结论，并给出了不同规模语言模型的训练观察结果。

    Apr, 2023

  • 残差网络中的深度超参数转移：动态和尺度限制

    使用深度学习调参中的参数化方法，研究残差网络的超参数如何在不同宽度和深度的网络中传递，并证明实验和理论结果的一致性。

    Sep, 2023

  • 缩小Adam迭代复杂度上界与下界之间的差距

    本文通过导出Adam的新收敛保证来推翻现有Adam收敛的下界，并且证明当使用适当的超参数时，Adam满足一阶优化器的下界和上界，为Adam的收敛性建立了严密的上界。

    Oct, 2023

  • 关于参数化的二阶优化方法适用于无限宽度

    通过提出一种特定的参数化方式，我们通过一步更新梯度和合适的超参数尺度来提高特征学习的鲁棒性，从而在大规模模型中加速深度神经网络的训练，并实现了更高的泛化性能。

    Dec, 2023

  • 大规模$μ$转让的探索

    大型神经网络模型的初始化和学习速率通常基于启发式方法，本研究通过对普遍存在的Transformer架构进行实证研究，探究µP（µ-Parameterization）是否在实践中能够提供最佳的学习速率，并发现在大多数重要情况下µ-Transfer均可正常工作，但也存在一些令人惊讶的情况。

    Apr, 2024

  • 迈向无参数优化的稳定性

    提出了一种无需手动调节参数的优化器AdamG，通过使用AdaGrad-Norm算法中的黄金步长派生技术，自动适应不同的优化问题并实现了与手动调节学习率的Adam相当的优化性能。

    May, 2024

  • 优化学习率和批次大小缩放中的涌现现象

    Adam style优化器中，最佳学习率和批量大小之间存在一种缩放规律，通过理论分析和实验验证了这种规律。

    May, 2024

  • 拆解语言模型优化器的优秀特质

    通过实验比较不同优化算法在自回归语言模型中的性能，我们发现除了SGD外，其他算法在性能和超参数选择方面表现相似，因此实际考虑内存限制和实施便捷性等实际因素可以指导优化器的选择。同时我们还将Adam算法简化为Signum和Adalayer两个版本来进行研究，发现Adam算法的预调节主要影响最后一层和LayerNorm参数，而其余层可以使用SGD来训练。

    Jul, 2024