May, 2023

Mechanic: 一种学习速率调整器

PDF
TL;DR本文提出了一种名为 Mechanic 的技术，用于自动调整任何基本优化算法和调度的学习率比例因子，该技术不仅提供了实现相似目标的最新理论降低的实用实现，而且在各种大规模的深度学习任务中都进行了严格的评估，在某些问题上，相比手动调整学习率，Mechanic 要么非常接近，要么匹配甚至超过手动调整。
learning rateoptimization algorithmonline convex optimizationdeep learningbatch sizes
发现论文，激发创造
  • 学习自适应学习率调度

    本文提出了基于强化学习的框架，通过利用过去训练历史的信息来自动学习自适应学习率调度器，验证实验结果表明，自动学习学习率控制器能够获得更好的测试结果，并且经过训练的控制器网络是可迁移的。

    Sep, 2019

  • AutoLRS: 基于贝叶斯优化的自动学习率调整

    该研究提出了一种名为 AutoLRS 的自适应学习率优化方法，使用贝叶斯优化自动调整神经网络中的学习率，能够显著提高训练的效率和准确性。

    May, 2021

  • 分形学习率调度加速

    本文研究了迭代优化中的学习率问题，在深度学习中提出了一种新的 Chebyshev 学习率调度方式，此方式与分数阶微积分有关，并且此方式可以在出现不稳定更新时保持局部收敛。

    Mar, 2021

  • 利用统计学自动化随机优化

    提出一种基于统计检验的适应性方法，通过检测随机梯度下降算法的动态变化达到均衡状态后衰减学习率，解决了手动调参的繁琐问题，实现了类似于手动调参的性能并在多个深度学习任务中得到了验证。

    Sep, 2019

  • 大批量训练自动学习率调度器

    本文提出了一种有效的 LR 调试算法，其中包括自适应的预热和预定义的衰减，通过高斯过程平滑的在线检查方法可以有效地训练具有大批次大小的神经网络。

    Jul, 2021

  • 何时、为何以及何倍？通过优化改进的自适应学习率调度

    学习率调度与优化算法的收敛性分析、学习率预热和调度优化方法的研究。

    Oct, 2023

  • 循环对数退火作为学习率调度器

    学习率调度器是在模型训练过程中变化搜索步长的预定指令集。本文介绍了一种新的对数方法，通过随机梯度下降对步长进行严格的重新启动。循环对数退火更积极地实施重新启动模式，可能在在线凸优化框架上允许更贪婪的算法的使用。该算法在 CIFAR-10 图像数据集上进行了测试，并表现出与余弦退火在大型变压器增强残差神经网络上类似的性能。未来的实验将涉及在生成对抗网络中测试调度器，并通过更多实验找到调度器的最佳参数。

    Mar, 2024

  • 别再纠结学习率了

    本文提出了一种自动调整多个学习率的方法，以使期望误差最小化，该方法依赖于样本之间的局部梯度变化，并在凸学习任务和非凸学习任务中证明了该算法具有与 SGD 或其他自适应方法相同的性能。

    Jun, 2012

  • 动态步长调度的局部最优下降

    我们介绍了一种新颖的动态学习率调度方案，旨在简化实践中手动而耗时的调度。我们的方法基于估计局部最优步长，确保在当前步骤的随机梯度方向上实现最大下降。我们首先在平滑的非凸随机优化环境中建立了我们方法的理论收敛边界，与最新的边界相匹配，仅假设对平滑参数具有知识。然后，我们提出了我们算法的实际实现，并在不同数据集和优化算法上进行系统实验，将我们的方案与现有的最新学习率调度器进行比较。我们的发现表明，与现有方法相比，我们的方法需要最少的调整，消除了辅助手动调度和预热阶段的需要，并实现了具有大大减少参数调整的可比性能。

    Nov, 2023

  • 时间表之外的道路

    不依赖于优化停止步骤 T 的现有学习率调度比依赖 T 的学习率调度性能更好。我们提出了一种完全避免使用调度的方法，同时在从凸问题到大规模深度学习问题的广泛问题范围内展示了与调度相比的最先进性能。我们的无调度方法与带有动量的标准优化器没有额外的超参数。我们的方法是我们开发的一种新理论的直接结果，该理论统一了调度和迭代平均化。我们的方法的开源实现可在此 URL 找到。

    May, 2024