Sep, 2023

重新审视 LARS 用于大批量训练神经网络的泛化

PDF
TL;DR通过实验分析研究了大规模批量学习中两种优化器（LARS 和 LAMB）的行为以及热身技术在其中的必要性，并在此基础上提出了一种名为 Time Varying LARS (TVLARS) 的新算法，该算法在初始阶段实现了稳定训练，无需热身技术，实验证明 TVLARS 在使用热身技术时与 LARS 和 LAMB 取得了相当的结果，并且在无热身技术时超越了它们的性能。
large batch learninglarslambconvergence stabilitywarm-up technique
发现论文，激发创造
  • 深度学习大批量优化：76 分钟训练 BERT

    本文提出了一个新的基于分层自适应学习率的大批量优化技术 ——LAMB，主要用于加速深度神经网络训练。在各种任务（如 BERT 和 ResNet-50）中，LAMB 的表现优于现有算法，特别是在 BERT 训练中，我们的优化器能够实现 32868 的大批量大小，将训练时间从 3 天缩短至 76 分钟。

    Apr, 2019

  • 大批量训练自动学习率调度器

    本文提出了一种有效的 LR 调试算法，其中包括自适应的预热和预定义的衰减，通过高斯过程平滑的在线检查方法可以有效地训练具有大批次大小的神经网络。

    Jul, 2021

  • 自适应学习率的方差及更多

    文中探讨学习率预热方法在稳定训练、加速收敛和改善通用性方面的可靠性，发现自适应学习率在初始阶段有问题，建议使用预热作为方差缩减技术，并提出了一种新变量 RAdam 用于改善自适应学习率方差，实验结果表明其有效性和鲁棒性。

    Aug, 2019

  • LSTM 和更多模型的大批量训练

    本文提出了一种新的线性逐渐预热的方法（LEGW），此方法可以在大批量 CNN 和 RNN 训练中实现 sqrt scaling scheme，同时不会丢失精度，并实现比之前的自动调整技术更好的表现，提高了四个基于 LSTM 的应用程序的平均速度。

    Jan, 2019

  • 为什么要热身学习率？机制及改进

    通过系统性实验证明，深度学习中热身起始学习率对于训练结果的显著好处在于使网络能够容纳更大的目标学习率，并将网络推向更好条件的损失函数区域，从而提高超参数调优的鲁棒性和最终性能，同时揭示了不同热身阶段的运行模式，根据初始化和参数化的不同，在一定情况下可以完全消除热身的需要，并建议 Adam 中方差的初始化方式以获得类似热身的好处。

    Jun, 2024

  • 基于学习的算法展开技术用于带预算约束的在线优化

    本文提出了一种新的机器学习辅助在线优化算法，并通过引入 Lagrangian 倍增方法，在线更新约束条件优化准则，实现在多个限制条件下进行深度学习模型联合优化，避免了现有算法的缺陷，提高了算法效率和性能。

    Dec, 2022

  • AutoLRS: 基于贝叶斯优化的自动学习率调整

    该研究提出了一种名为 AutoLRS 的自适应学习率优化方法，使用贝叶斯优化自动调整神经网络中的学习率，能够显著提高训练的效率和准确性。

    May, 2021

  • 理解早期权重平均对大型语言模型训练的有效性

    通过运用检查点平均化方法来改进大型语言模型（LLMs）的质量，在不增加额外培训或推理成本的前提下，缩短训练时间并提高测试和零样本泛化能力。

    Jun, 2023

  • WARM: 关于加权平均奖励模型的好处

    通过强化学习将大型语言模型与人类偏好进行调整可能导致奖励欺骗，本文提出了一种解决方案，即使用加权平均奖励模型（WARM），通过对多个奖励模型进行微调并在权重空间中进行平均，以提高模型预测的质量和对齐度。

    Jan, 2024

  • 学习如何预热固定点优化算法

    我们介绍了一个机器学习框架，用于启动固定点优化算法；我们的架构由一个神经网络和一定数量的固定点迭代组成；我们提出了两个损失函数，其中一个用于最小化固定点残差，另一个用于最小化到参考解的距离；我们的架构具有灵活性，可以预测任意步骤下的固定点算法的启动；我们提供了对常见类别的固定点算子（收敛、线性和平均）的未见数据的 PAC-Bayes 泛化界限；将该框架应用于控制、统计和信号处理等领域的知名应用可以显著减少求解这些问题所需的迭代次数和解决时间。

    Sep, 2023