通过参数缩放解释自适应梯度方法对无学习率优化的解读

Jan, 2024

通过参数缩放解释自适应梯度方法对无学习率优化的解读

Interpreting Adaptive Gradient Methods by Parameter Scaling for Learning-Rate-Free Optimization

Min-Kook Suh, Seung-Woo Seo

TL;DR我们提出解决在训练深度神经网络中用于自适应梯度方法的学习率估计的挑战。我们将自适应梯度方法解释为应用于参数缩放网络的最陡下降方法，并提出了无学习率的自适应梯度方法。实验结果验证了该方法的有效性，并证明在各种情况下，其性能与手动调优的学习率相当。这项工作扩展了无学习率方法的适用性，增强了自适应梯度方法的训练效果。

Abstract

We address the challenge of estimating the learning rate for adaptive gradient methods used in training deep neural networks. While several learning-rate-free approaches have been proposed, they are typically tai

learning rate adaptive gradient methods deep neural networks steepest descent hand-tuned learning rates

发现论文，激发创造

学习率自适应的随机梯度下降优化方法：深度学习偏微分方程数值模拟与收敛分析

我们提出并研究了一种基于经验估计目标函数值的学习率自适应方法，用于随机梯度下降优化方法，并在多个神经网络学习问题中实施。我们证明了学习率自适应变体的 SGD 优化方法对于一类简单的二次最小化问题收敛于最小化器。

Jun, 2024

将自适应梯度方法从学习率中解开

本文研究了深度学习优化算法中的多个混淆因素，特别是探索了自适应梯度方法与学习率调度之间的相互作用，提出了一种 “嫁接” 实验，并给出了对自适应梯度方法泛化能力的实证和理论回顾。

Feb, 2020

使用超梯度下降进行在线学习率调整

本文介绍一种通用的方法来提高基于梯度的优化算法的收敛速度，通过将该方法应用到随机梯度下降、带有 Nesterov 动量的随机梯度下降和 Adam 等常用算法上，我们展示了该方法在一系列优化问题中的有效性，大大减少了对这些算法的初始学习率进行手动调整的需求；我们的方法通过使用与更新规则自身的学习率相关的梯度在优化过程中动态更新学习率，计算这个 “超梯度” 需要很少的额外计算，只需要将原始梯度的一个额外副本存储在内存中，并且只依靠于反向模式自动微分提供的内容。

Mar, 2017

训练深度神经网络的自适应学习率优化算法的适当学习率

本文针对深度学习中的非凸随机优化问题，提出了适当的学习率，并使用自适应学习率优化算法（如 Adam 和 AMSGrad），可以近似问题的固定点，同时保证这些算法可以近似凸随机优化问题的全局最小值，在文本和图像分类的实验中，采用不同的学习率优化算法，结果表明使用恒定学习率性能比衰减学习率的性能更佳。

Feb, 2020

深度学习的鲁棒自适应随机梯度方法

本文提出了一种自适应学习率算法，该算法利用了损失函数的随机曲率信息自动调整学习率，并且提出了一种新的方差缩减技术以加速收敛，在深度神经网络实验中，相比于流行的随机梯度算法获得了更好的性能。

Mar, 2017

随机、稀疏、非光滑梯度的自适应学习率和并行化

本文针对随机梯度下降法（SGD）调参的问题，提出了一个不需调参的自动降低学习速率的方法，并通过在迭代中解决并行化、更新方法、非光滑损失函数以及 Hessian 矩阵估计等问题，提高了算法性能。最终算法具有线性复杂度和无需超参数。

Jan, 2013

D - 适应学习实现无学习率学习

本研究利用单循环方法，不需要关于距离 D 的知识，提出了一种对于复杂的凸 Lipschitz 函数时可以自适应地匹配手动调整的学习率的梯度下降算法，并且在大规模视觉和语言问题等多个领域中取得了优异的实际表现。

Jan, 2023

学习率自由学习：分析 D 适应性和概率线搜索

本文探讨了两种最近的随机梯度下降学习率优化方法：D - 自适应（arXiv:2301.07733）和概率线搜索（arXiv:1502.02846）。这些方法旨在通过整合距离度量和高斯过程后验估计来减轻选择初始学习率的负担。在本文中，我对两种方法提供了直观的概述，讨论了它们共同的设计目标，并提出了合并这两种算法的可能性。

Aug, 2023

别再纠结学习率了

本文提出了一种自动调整多个学习率的方法，以使期望误差最小化，该方法依赖于样本之间的局部梯度变化，并在凸学习任务和非凸学习任务中证明了该算法具有与 SGD 或其他自适应方法相同的性能。

Jun, 2012

机器学习中自适应梯度方法的边际价值

本文研究了使用自适应优化方法训练深度神经网络的表现，提出了一些简单超参数问题，发现自适应方法得到的结果往往比梯度下降方法差，甚至可能导致结果更糟糕，建议实践者重新考虑使用自适应方法训练神经网络。

May, 2017