ICLRFeb, 2022

无参数落下：基于敏感度导向的自适应学习速率训练大型 Transformer 模型

PDF
TL;DR通过提出一种新的训练策略，根据每个参数的敏感度自适应调整学习率，以减少冗余并改善泛化性能。该训练方法在自然语言理解、神经机器翻译和图像分类方面取得了显著的有效性。
transformer modelsparameter redundancysensitivitylearning rategeneralization performance
发现论文，激发创造
  • 智能学习速率分配以减少转换器中的灾难性遗忘

    在这篇论文中，我们研究了 transformer 神经网络中灾难性遗忘的问题，并对使用相同学习率进行整个网络微调的普遍做法提出疑问。我们通过超参数优化过程找到了比平坦学习率更好的学习率分布，并结合这些学习率分布，展示了它们在灾难性遗忘问题上的更好表现。我们通过对 GLUE 数据集的多种 NLP 基准测试验证了这些学习率分布。

    Mar, 2024

  • 基于 Transformer 的语言模型的自适应微调用于命名实体识别

    本次研究提出了自适应微调的替代方案，使用早期停止和自定义学习速率表来动态调整训练轮数，特别针对小型数据集，我们在命名实体识别的示例用例中表现出比现有的微调算法更好的性能、稳定性和效率。

    Feb, 2022

  • 敏感 BERT：面向参数高效的 BERT 微调的敏感性驱动方法

    Sensi-BERT 是一种基于敏感性驱动的高效 BERT 模型微调方法，能够从现成的预训练 BERT 模型中生成高度参数有效的模型，适用于各种下游任务，且在相似或更小的参数预算下表现出比现有替代方案更好的性能。

    Jul, 2023

  • 参数的重要性：一种用于提高性能的内部蒸馏方法

    本文提出了一种基于 intra-distillation 和自适应学习的通用方法，用于平衡所有参数的灵敏度，从而提高模型的普适性和性能表现。实验结果表明，该方法有效地提升了机器翻译、自然语言理解和零 - shot 跨语言转移等不同领域的表现。

    May, 2022

  • 学习自适应学习率调度

    本文提出了基于强化学习的框架，通过利用过去训练历史的信息来自动学习自适应学习率调度器，验证实验结果表明，自动学习学习率控制器能够获得更好的测试结果，并且经过训练的控制器网络是可迁移的。

    Sep, 2019

  • AutoLRS: 基于贝叶斯优化的自动学习率调整

    该研究提出了一种名为 AutoLRS 的自适应学习率优化方法，使用贝叶斯优化自动调整神经网络中的学习率，能够显著提高训练的效率和准确性。

    May, 2021

  • 神经网络训练中对大误差的可调灵敏度

    本研究提出了一种改进的交叉熵梯度步骤，该步骤可以用于基于梯度的任何训练方法，并通过控制训练过程对较难的训练样本的敏感度来使用可调感度以帮助神经网络学习，该方法在多个基准数据集上测试后证实了这一点。

    Nov, 2016

  • 无训练无收益：重拾用于基于 Transformer 的语言模型的高效训练算法

    本文探讨了三种算法类型 (动态架构、批量选择和优化器) 在训练 Transformer-based 语言模型的效率问题，并发现这些算法并不能比传统训练方法更快的提升训练、验证和下游任务的表现。

    Jul, 2023

  • 如何学会不再担忧并热爱重新培训

    该研究探讨了神经网络剪枝的相关问题，包括学习率、训练预算、线性学习率表等，并通过提出一个简单而有效的方法来适应性地选择线性表的初始值，进而减少网络的训练时间和复杂度。

    Nov, 2021

  • 大批量训练自动学习率调度器

    本文提出了一种有效的 LR 调试算法，其中包括自适应的预热和预定义的衰减，通过高斯过程平滑的在线检查方法可以有效地训练具有大批次大小的神经网络。

    Jul, 2021