ICLRMay, 2021

AutoLRS: 基于贝叶斯优化的自动学习率调整

PDF
TL;DR该研究提出了一种名为 AutoLRS 的自适应学习率优化方法，使用贝叶斯优化自动调整神经网络中的学习率，能够显著提高训练的效率和准确性。
发现论文，激发创造
  • 大批量训练自动学习率调度器

    本文提出了一种有效的 LR 调试算法，其中包括自适应的预热和预定义的衰减，通过高斯过程平滑的在线检查方法可以有效地训练具有大批次大小的神经网络。

    Jul, 2021

  • 学习自适应学习率调度

    本文提出了基于强化学习的框架，通过利用过去训练历史的信息来自动学习自适应学习率调度器，验证实验结果表明，自动学习学习率控制器能够获得更好的测试结果，并且经过训练的控制器网络是可迁移的。

    Sep, 2019

  • 深度神经网络高准确率训练的学习率政策解析

    本文基于 LRBench 系统对 13 种学习率函数以及相应的学习率策略进行研究，提出了一组评估和选择学习率策略的度量标准，包括分类置信度、方差、成本和鲁棒性，表明 LRBench 辅助用户选择好的学习率策略，避免训练深度神经网络时出现不良策略。

    Aug, 2019

  • 优化深度神经网络迭代剪枝学习率调度

    本文提出了一种名为 SILO 的改进型学习率优化策略来优化网络剪枝，通过在剪枝理论上给出理论证明，并在各种网络和流行数据集（例如 ImageNet，CIFAR-10 / 100）上进行广泛实验，获得了 2％-4％的性能提升。

    Dec, 2022

  • 何时、为何以及何倍？通过优化改进的自适应学习率调度

    学习率调度与优化算法的收敛性分析、学习率预热和调度优化方法的研究。

    Oct, 2023

  • AutoLR: 深度网络微调中的层级裁剪和学习率自动调整

    本文提出一种精细调整方法，通过分层修剪和自动调整分层学习率来改善调整性能和降低网络复杂度，在图像检索基准数据集（CUB-200，Cars-196，斯坦福在线产品和 Inshop）中取得了最先进的性能。

    Feb, 2020

  • 学做还是边做边学：强化学习与贝叶斯优化的在线连续调节

    使用反馈强化学习优化（RLO）和贝叶斯优化（BO）进行比较研究，在实际粒子加速器任务中，发现 RLO 通常表现更优，但并非在所有情况下都是最佳选择。基于研究结果，提供了一组明确的标准，以指导选择给定调谐任务的算法。

    Jun, 2023

  • 深度学习大批量优化：76 分钟训练 BERT

    本文提出了一个新的基于分层自适应学习率的大批量优化技术 ——LAMB，主要用于加速深度神经网络训练。在各种任务（如 BERT 和 ResNet-50）中，LAMB 的表现优于现有算法，特别是在 BERT 训练中，我们的优化器能够实现 32868 的大批量大小，将训练时间从 3 天缩短至 76 分钟。

    Apr, 2019

  • 无参数落下：基于敏感度导向的自适应学习速率训练大型 Transformer 模型

    通过提出一种新的训练策略，根据每个参数的敏感度自适应调整学习率，以减少冗余并改善泛化性能。该训练方法在自然语言理解、神经机器翻译和图像分类方面取得了显著的有效性。

    Feb, 2022

  • 循环学习率用于神经网络训练

    本文介绍了一种名为 “循环学习率” 的新方法，它可以消除实验找到全局学习率的最佳值和时间表的需要，从而在分类准确度方面取得了提高。此外，本文还描述了一种估算 “合理边界” 的简单方法。该方法可以应用于训练神经网络，并且已在多个数据集和网络结构上进行了实验。

    Jun, 2015