Aug, 2019

深度神经网络高准确率训练的学习率政策解析

PDF
TL;DR本文基于 LRBench 系统对 13 种学习率函数以及相应的学习率策略进行研究，提出了一组评估和选择学习率策略的度量标准，包括分类置信度、方差、成本和鲁棒性，表明 LRBench 辅助用户选择好的学习率策略，避免训练深度神经网络时出现不良策略。
发现论文，激发创造
  • 大语言模型时代中重新思考学习率调整

    大型语言模型引起了深度学习在实现卓越的人类预测性能方面的最新成功。本文重新评估了大型语言模型时代中学习率调整的研究挑战和机遇，并提出了 LRBench++ 来评估学习率策略，验证了大型语言模型精调与传统深度神经网络训练之间的关键差异。

    Sep, 2023

  • 循环学习率用于神经网络训练

    本文介绍了一种名为 “循环学习率” 的新方法，它可以消除实验找到全局学习率的最佳值和时间表的需要，从而在分类准确度方面取得了提高。此外，本文还描述了一种估算 “合理边界” 的简单方法。该方法可以应用于训练神经网络，并且已在多个数据集和网络结构上进行了实验。

    Jun, 2015

  • AutoLRS: 基于贝叶斯优化的自动学习率调整

    该研究提出了一种名为 AutoLRS 的自适应学习率优化方法，使用贝叶斯优化自动调整神经网络中的学习率，能够显著提高训练的效率和准确性。

    May, 2021

  • 学习自适应学习率调度

    本文提出了基于强化学习的框架，通过利用过去训练历史的信息来自动学习自适应学习率调度器，验证实验结果表明，自动学习学习率控制器能够获得更好的测试结果，并且经过训练的控制器网络是可迁移的。

    Sep, 2019

  • 大批量训练自动学习率调度器

    本文提出了一种有效的 LR 调试算法，其中包括自适应的预热和预定义的衰减，通过高斯过程平滑的在线检查方法可以有效地训练具有大批次大小的神经网络。

    Jul, 2021

  • 大学习率提高泛化性能：我们所讨论的是多大的学习率？

    基于最近的研究建议使用较大的学习率（LRs）来进行神经网络训练以获得最佳泛化效果，我们详细研究了这一假设，并明确了提供后续小学习率或权重平均训练的最佳结果的初始 LR 范围，发现这些范围实际上比通常假设的范围显著窄，我们在一个简化的设置中进行主要实验以精确控制学习率超参数，并在更实际的环境中验证了我们的关键发现。

    Nov, 2023

  • 有效学习率的扩展：早期训练中批量归一化的风险

    本文研究了深度规范化 ReLU 网络的早期训练阶段，并通过研究有效学习率（LR）来解释梯度流的影响，发现使用大 LR 类似于对非线性 ODE 应用显式求解器，在第一步后导致底层出现过振荡和梯度消失，因此在深度，LR 和动量（可选）上需要进行精细调整，以保持总体平衡。

    Jun, 2023

  • 深度网络的分层自适应学习率

    本文提出了一种优化方法以训练深度神经网络，该方法使用适应性学习率，以增加函数曲率低点的学习率。这可以加快网络浅层的学习，快速退出高误差低曲率鞍点，提高标准算法的准确性并减少所需的训练时间。

    Oct, 2015

  • 神经网络超参数的纪律性方法：第 1 部分 —— 学习速率、批量大小、动量和权重衰减

    本文介绍了几种有效的设置超参数的方法，以显著减少训练时间并提高性能。具体来说，报告展示了如何检查训练验证 / 测试损失函数以获取欠拟合和过拟合的微妙线索，并提供了朝向最佳平衡点的指南。同时还讨论了如何增加 / 减少学习率 / 动量以加速训练，并解释了如何在每个数据集和架构的所有正则化之间保持平衡的重要性。本文的实验表明，使用权重衰减作为示例正则化器，其优化值与学习率和动量密切相关。

    Mar, 2018

  • 将现代深度学习与传统优化分析调和：内在学习速率

    本研究通过建立适当的随机微分方程、分析训练轨迹和实验，提出了深度学习中标准化网络的行为远离传统视角的其他方面，并发现了基于 “内部学习率” 的参数，控制了学习的速度和均衡，在深度学习优化和泛化方面具有新的挑战和实验结论，这些结果对于深度学习中的规范化技术具有丰富的理论和实践意义。

    Oct, 2020