IJCAIOct, 2019

MARTHE: 通过在线超梯度调度学习率

PDF
TL;DR本文从超参数优化的角度研究了适应特定任务的学习率进度的拟合问题，并通过介绍超梯度的梯度结构，提出了 MARTHE 算法，它能够使用优化轨迹中的过去信息来模拟未来的行为，从而插值最近的两种技术，从而产生更加稳定、泛化能力更强的学习率进度。
learning rate scheduleshyperparameter optimizationmarthe algorithmgeneralizationhypergradient
发现论文，激发创造
  • 使用超梯度下降进行在线学习率调整

    本文介绍一种通用的方法来提高基于梯度的优化算法的收敛速度，通过将该方法应用到随机梯度下降、带有 Nesterov 动量的随机梯度下降和 Adam 等常用算法上，我们展示了该方法在一系列优化问题中的有效性，大大减少了对这些算法的初始学习率进行手动调整的需求；我们的方法通过使用与更新规则自身的学习率相关的梯度在优化过程中动态更新学习率，计算这个 “超梯度” 需要很少的额外计算，只需要将原始梯度的一个额外副本存储在内存中，并且只依靠于反向模式自动微分提供的内容。

    Mar, 2017

  • 学习自适应学习率调度

    本文提出了基于强化学习的框架，通过利用过去训练历史的信息来自动学习自适应学习率调度器，验证实验结果表明，自动学习学习率控制器能够获得更好的测试结果，并且经过训练的控制器网络是可迁移的。

    Sep, 2019

  • 何时、为何以及何倍？通过优化改进的自适应学习率调度

    学习率调度与优化算法的收敛性分析、学习率预热和调度优化方法的研究。

    Oct, 2023

  • 将自适应梯度方法从学习率中解开

    本文研究了深度学习优化算法中的多个混淆因素，特别是探索了自适应梯度方法与学习率调度之间的相互作用，提出了一种 “嫁接” 实验，并给出了对自适应梯度方法泛化能力的实证和理论回顾。

    Feb, 2020

  • 可微分的自适应学习率

    本研究提出一种新的学习率自适应算法来解决 Hypergradient 优化算法在处理大规模数据集和验证集上的表现问题，实验证明该算法在速度和精度上都能超越现有的优化算法。

    Oct, 2022

  • 用于在线预测的时间平滑梯度

    本文研究了随机梯度下降的不同更新规则，通过使用使用时间平滑梯度的方法，让算法对学习速率的选择不再敏感，在公共数据集 GEFCom2014 上表现出了更稳定的结果，与其他替代方案相比，这种简单的方法有着更高的计算效率。

    May, 2019

  • 时间表之外的道路

    不依赖于优化停止步骤 T 的现有学习率调度比依赖 T 的学习率调度性能更好。我们提出了一种完全避免使用调度的方法，同时在从凸问题到大规模深度学习问题的广泛问题范围内展示了与调度相比的最先进性能。我们的无调度方法与带有动量的标准优化器没有额外的超参数。我们的方法是我们开发的一种新理论的直接结果，该理论统一了调度和迭代平均化。我们的方法的开源实现可在此 URL 找到。

    May, 2024

  • 基于双曲正切衰减的随机梯度下降在分类中的应用

    本文提出了一种新的调度方法，称为双曲正切衰减（HTD），在多个基准测试中表现优于步长衰减和余弦调度器，并且比步长衰减少需更少的超参数，比余弦调度器更加灵活。

    Jun, 2018

  • 动态步长调度的局部最优下降

    我们介绍了一种新颖的动态学习率调度方案，旨在简化实践中手动而耗时的调度。我们的方法基于估计局部最优步长，确保在当前步骤的随机梯度方向上实现最大下降。我们首先在平滑的非凸随机优化环境中建立了我们方法的理论收敛边界，与最新的边界相匹配，仅假设对平滑参数具有知识。然后，我们提出了我们算法的实际实现，并在不同数据集和优化算法上进行系统实验，将我们的方案与现有的最新学习率调度器进行比较。我们的发现表明，与现有方法相比，我们的方法需要最少的调整，消除了辅助手动调度和预热阶段的需要，并实现了具有大大减少参数调整的可比性能。

    Nov, 2023

  • 可逆学习的基于梯度的超参数优化

    本文介绍了如何通过逆向随机梯度下降的动态过程精确计算出所有超参数的交叉验证性能梯度，并优化上千个超参数，包括学习速率、动量方案、权重初始化分布，多参数正则化方案和神经网络架构。

    Feb, 2015