SGD 的随机 Polyak 步长：快速收敛的自适应学习率

Feb, 2020

SGD 的随机 Polyak 步长：快速收敛的自适应学习率

Stochastic Polyak Step-size for SGD: An Adaptive Learning Rate for Fast Convergence

Nicolas Loizou, Sharan Vaswani, Issam Laradji, Simon Lacoste-Julien

TL;DR本文介绍了一种新颖的随机 Polyak 步长方法，称为 SPS，它可以有效地用于随机梯度下降，特别是在训练超参数化模型时表现良好，并且在不需要任何与问题相关的常数或额外计算开销的情况下收敛速度快，并且与其他优化方法相比表现出色。

Abstract

We propose a stochastic variant of the classical Polyak step-size (Polyak, 1987) commonly used in the subgradient method. Although computing the Polyak step-size requires knowledge of the optimal function values, this information is readily available for typical modern machine learning

stochastic polyak step-size stochastic gradient descent over-parameterized models convergence guarantees machine learning

发现论文，激发创造

带预处理的 Polyak 步长的随机梯度下降

扩展了 Stochastic Gradient Descent with Polyak Step-size (SPS) 方法，使用 Hutchinson's 方法、Adam 和 AdaGrad 等预处理技术来提高其在糟糕缩放和 / 或病态数据集上的性能。

Oct, 2023

自适应 Polyak 步长和线性搜索的 SGD 算法：稳健收敛和方差降低

该研究提出了两种新的变体的随机 Polyak 步长和随机线性搜索算法，名为 AdaSPS 和 AdaSLS，它们保证了在非插值设置下的收敛，并在训练超参数化模型时维持凸函数和强凸函数的次线性和线性收敛速度。此外，通过引入方差缩减技术，这些算法能够在次优情况下进行梯度评估，达到 O（ε）次优性，从而改进了非插值区域 AdaSPS 和 AdaSLS 的较慢 O（1/ε^2）收敛速度。实验验证了算法的理论有效性和稳健性。

Aug, 2023

Polyak 学习率的随机梯度下降

本文提出将 Subgradient 方法中的 Polyak 步长推广到随机梯度下降中，并证明了该算法可以在非渐进情况下以更好的速率收敛于优化解，该算法在训练深度神经网络等问题上表现良好。

Mar, 2019

基于 Polyak 步长和 ERM 中的函数分割的自适应学习率的函数值学习

我们开发了 SGD 的变体与自适应步长，利用抽样的损失值，重点解决有限项求和问题，也称为经验风险最小化。我们详细介绍了一种理想的自适应方法 $ exttt {SPS}_+$，它利用了抽样的损失值并假设知道最优情况下的抽样损失。我们展示了 $ exttt {SPS}_+$ 在 Lipschitz 非平滑中实现了已知的最优收敛速率。然后，我们开发了 $ exttt {FUVAL}$ 的变体，它逐渐学习最优情况下的损失值。我们以三个视角介绍了 $ exttt {FUVAL}$，作为一种基于投影的方法，作为一种近似线性方法的变体，以及作为一种特定的在线 SGD 方法。然后，我们提出了 $ exttt {FUVAL}$ 的收敛性分析和实验结果。我们的工作的缺点是，$ exttt {FUVAL}$ 的收敛性分析没有比 SGD 更具优势；另一个缺点是，目前只有 $ exttt {FUVAL}$ 的全批次版本在步长敏感性方面相对于 GD 有轻微优势，随机版本相对于 SGD 没有明显优势。我们猜测需要较大的小批量数据才能使 $ exttt {FUVAL}$ 具有竞争力。目前，本文研究的新 $ exttt {FUVAL}$ 方法没有提供清晰的理论或实践优势，然而，我们选择将这个草稿在线上提供，因为其中使用了一些分析技巧，如 $ exttt {SPS}_+$ 的非平滑分析，同时也展示了一种目前看似有趣但不能工作的方法。

Jul, 2023

基于随机泊松步长的本地自适应联邦学习

本文介绍了一种基于 Stochastic Polyak Stepsize 的联邦学习算法 FedSPS，该算法具有局部自适应性和近乎无参数，且可以达到与 FedAvg 相当的优化性能。

Jul, 2023

BiSLS/SPS: 稳定双层优化自动调整步长

研究了使用自适应步长方法（随机线性搜索和随机 Polyak 步长）来计算上下级学习率的 BO 算法，并发现这些方法可以在不需要精细调节的情况下找到较大的学习率，比起需要精细调节的 SGD 或 Adam BO 算法快速收敛。

May, 2023

随机 Polyak 步长和动量：收敛保证和实际性能

在本文中，我们提出了一种基于随机梯度下降算法的新型多步骤选择方法来解决大规模随机优化问题，该方法不需要预先了解问题参数并且具有收敛性保证。

Jun, 2024

利用 Polyak 步长适应增强策略梯度

本文介绍了在强化学习领域中广泛使用且具有收敛保证和稳定性的策略梯度算法，在解决参数敏感性问题的同时，通过实验展示了 Polyak 步长在强化学习中更快的收敛速度和更稳定的策略产生。

Apr, 2024

指数和余弦步长的再审视：简易性、适应性和性能

研究指出指数步长和余弦步长是自适应噪声水平的，不需要知道噪声水平和调整超参数就可以达到几乎最佳性能。探讨了这两种优化策略的收敛速度和表现，实验证明它们最多只需要调整两个超参数就可达到优秀的表现。

Feb, 2020

通过步长规划方法学习加速

本文介绍了一种名为 Csawg 的新方法，它使用更新经验来学习改进的参数更新方式，并且使用步长规划的方式加速 Gradient Descent 在 ill-conditioned 和 non-convex 问题中的收敛速度。在经过实验验证后，我们的方法获得了比 Nesterov 加速 Gradient 更快的收敛速度，并且在 Rosenbrock 函数的测试中取得了比 Gradient Descent 更快和更准确的收敛效果。

Apr, 2022