May, 2023

一枚硬币的两面：未调节的 SGD 的局限性和自适应方法的威力

PDF
TL;DR本文探讨了随机梯度下降法与多项式衰减步长之间的关系，并证明无调谐的随机梯度下降法具有渐进最优的收敛速率，但需要面临指数级的平滑度常数；而规范化 SGD、AMSGrad 和 AdaGrad 方法可以在不知道平滑度参数和随机梯度边界条件的情况下消除梯度爆炸问题。
stochastic gradient descentconvergence rateadaptive methodssmoothness constantgradient norm
发现论文，激发创造
  • SGD 中的自适应能力：无界梯度和仿射方差下的自调步长

    本研究旨在研究基于观察的随机梯度的步长的变化，以最小化非凸光滑目标函数的 AdaGrad-Norm 的收敛速度，并表明 AdaGrad-Norm 在假设与最佳调优的非自适应 SGD 相同的情况下展现出与之相同的收敛速度，同时不需要任何调整参数。

    Feb, 2022

  • 面向噪声自适应、问题自适应（加速）随机梯度下降

    通过利用指数步长和随机线性搜索等技术，使得随机梯度下降算法适应不同噪声水平和问题相关的常数，可以在强凸函数的条件下，取得与理论最优相近的收敛速度，同时能够有效地处理噪声和数据不凸的情况。

    Oct, 2021

  • 在轻松平滑条件下的参数无关优化

    通过理论和实验证明，Normalized Stochastic Gradient Descent with Momentum 算法在没有先验知识的情况下可以实现（接近）最优复杂度，但复杂度中引入了一个依赖于 (L_1) 的指数项，这是不可避免的。同时，在确定性设置下，可以通过使用 Gradient Descent with a Backtracking Line Search 来抵消指数因子。这是首个在广义平滑条件下提出的无需参数设置的收敛结果。

    Nov, 2023

  • 偏见自适应随机逼近的非渐近分析

    本研究通过非渐进性分析，探讨具有偏倚梯度和自适应步长的随机梯度下降算法，包括时间依赖的偏倚和梯度估计器的均方误差控制，结果表明带偏倚梯度的 Adagrad 和 RMSProp 算法收敛速率与无偏情况下的结果相似，实验结果进一步验证了收敛性，并展示了通过适当的超参数调整可以减少偏倚影响的能力。

    Feb, 2024

  • 自适应梯度方法在细化平滑度和噪声假设下的收敛分析

    分析了 AdaGrad 在随机非凸优化中收敛速率，证明了存在优于 SGD 的收敛速度，并给出了收敛速率的上界和下界。

    Jun, 2024

  • （随机）梯度方法的统一最优分析

    证明在 L - 平滑度条件下，随机梯度下降的迭代收敛速度的数量级为 O (LR2exp [-(mu/4L) T]+sigma2/muT), 其中 sigma2 是随机噪声方差，且收敛速度与最佳已知的 GD 和 SGD 迭代复杂度匹配.

    Jul, 2019

  • 指数和余弦步长的再审视：简易性、适应性和性能

    研究指出指数步长和余弦步长是自适应噪声水平的，不需要知道噪声水平和调整超参数就可以达到几乎最佳性能。探讨了这两种优化策略的收敛速度和表现，实验证明它们最多只需要调整两个超参数就可达到优秀的表现。

    Feb, 2020

  • 增强型随机梯度下降算法的改进步长：收敛性和实验

    该论文提出了一种新颖的方法，通过引入基于 1/√t 的修改衰减步长来提高随机梯度下降 (SGD) 算法的性能。所提出的步长整合了对数项，在最后的迭代中选择较小的值。通过分析，我们在非凸光滑函数无 Polyak-Lojasiewicz 条件的情况下，建立了收敛速度为 O (ln T/√T)。为了评估我们的方法的有效性，我们在 FashionMNIST 和 CIFAR10 数据集上进行了图像分类任务的数值实验，结果显示与传统的 1/√t 步长相比，准确率明显提高，分别观察到 0.5% 和 1.4% 的增益。源代码可以在 https://github.com/Shamaeem/LNSQRTStepSize 找到。

    Sep, 2023

  • 自适应步长随机梯度下降算法的收敛性

    通过研究广义 AdaGrad 步长在凸和非凸设置中，本文证明了这些步长实现梯度渐近收敛于零的充分条件，从而填补了这些方法理论上的空白。此外，本文表明这些步长允许自动适应随机梯度噪声级别在凸和非凸情况下，实现 O（1/T）到 O（1 / 根号 T）的插值（带有对数项）。

    May, 2018

  • 随机梯度算法的新收敛性特点

    本文对随机梯度下降法（SGD）的收敛性进行了分析，提出了一种新的假设随机梯度较真实梯度的范数更小的分析方法，并在多个情境下证明了 SGD 的收敛性，拓展了当前一类可达到收敛性的学习率。

    Nov, 2018