训练深度神经网络的自适应学习率优化算法的适当学习率

Feb, 2020

训练深度神经网络的自适应学习率优化算法的适当学习率

Appropriate Learning Rates of Adaptive Learning Rate Optimization Algorithms for Training Deep Neural Networks

Hideaki Iiduka

TL;DR本文针对深度学习中的非凸随机优化问题，提出了适当的学习率，并使用自适应学习率优化算法（如 Adam 和 AMSGrad），可以近似问题的固定点，同时保证这些算法可以近似凸随机优化问题的全局最小值，在文本和图像分类的实验中，采用不同的学习率优化算法，结果表明使用恒定学习率性能比衰减学习率的性能更佳。

Abstract

This paper deals with nonconvex stochastic optimization problems in deep learning and provides appropriate learning rates with which adaptive learning rate optimization algorithms, such as Adam and AMSGrad, can approximate a stationary point of the problem. In particular, constant and

nonconvex stochastic optimization deep learning adaptive learning rate optimization global minimizers text and image classification

发现论文，激发创造

学习率自适应的随机梯度下降优化方法：深度学习偏微分方程数值模拟与收敛分析

我们提出并研究了一种基于经验估计目标函数值的学习率自适应方法，用于随机梯度下降优化方法，并在多个神经网络学习问题中实施。我们证明了学习率自适应变体的 SGD 优化方法对于一类简单的二次最小化问题收敛于最小化器。

Jun, 2024

深度学习的鲁棒自适应随机梯度方法

本文提出了一种自适应学习率算法，该算法利用了损失函数的随机曲率信息自动调整学习率，并且提出了一种新的方差缩减技术以加速收敛，在深度神经网络实验中，相比于流行的随机梯度算法获得了更好的性能。

Mar, 2017

使用超梯度下降进行在线学习率调整

本文介绍一种通用的方法来提高基于梯度的优化算法的收敛速度，通过将该方法应用到随机梯度下降、带有 Nesterov 动量的随机梯度下降和 Adam 等常用算法上，我们展示了该方法在一系列优化问题中的有效性，大大减少了对这些算法的初始学习率进行手动调整的需求；我们的方法通过使用与更新规则自身的学习率相关的梯度在优化过程中动态更新学习率，计算这个 “超梯度” 需要很少的额外计算，只需要将原始梯度的一个额外副本存储在内存中，并且只依靠于反向模式自动微分提供的内容。

Mar, 2017

别再纠结学习率了

本文提出了一种自动调整多个学习率的方法，以使期望误差最小化，该方法依赖于样本之间的局部梯度变化，并在凸学习任务和非凸学习任务中证明了该算法具有与 SGD 或其他自适应方法相同的性能。

Jun, 2012

具有动态学习率上界的自适应梯度方法

本文提出了 AdaBound 和 AMSBound 两种新型变体算法，通过采用动态的学习率边界来实现自适应方法与 SGD 方法之间的平稳过渡，证明了它们的收敛性，并在各种任务和模型上进行了充分的实验，结果表明这两种方法可以消除自适应方法与 SGD 之间的 “普适 - 泛化” 差距，同时在训练初期保持更高的学习速度和取得显著的改进表现。

Feb, 2019

深度网络的分层自适应学习率

本文提出了一种优化方法以训练深度神经网络，该方法使用适应性学习率，以增加函数曲率低点的学习率。这可以加快网络浅层的学习，快速退出高误差低曲率鞍点，提高标准算法的准确性并减少所需的训练时间。

Oct, 2015

随机、稀疏、非光滑梯度的自适应学习率和并行化

本文针对随机梯度下降法（SGD）调参的问题，提出了一个不需调参的自动降低学习速率的方法，并通过在迭代中解决并行化、更新方法、非光滑损失函数以及 Hessian 矩阵估计等问题，提高了算法性能。最终算法具有线性复杂度和无需超参数。

Jan, 2013

基于共轭梯度的 Adam 算法用于随机优化及其在深度学习中的应用

本文提出了一个混合 Adam 和非线性共轭梯度方法的共轭梯度 Adam 算法，并展示其收敛分析。在文本分类和图像分类上的数值实验表明，该算法可以在比现有的自适应随机优化算法更少的时代数内训练深度神经网络模型。

Feb, 2020

一种自适应瞬时边界方法用于随机学习

本文提出了 AdaMod 方法来限制 Adam 方法中出现的极端学习率问题，实现深度神经网络的稳定而高效训练，对于复杂网络，如 DenseNet 和 Transformer，与 Adam 方法相比，AdaMod 方法带来了显著的改进。

Oct, 2019

可微分的自适应学习率

本研究提出一种新的学习率自适应算法来解决 Hypergradient 优化算法在处理大规模数据集和验证集上的表现问题，实验证明该算法在速度和精度上都能超越现有的优化算法。

Oct, 2022