ICLRApr, 2022

一类带 AdaGrad 步长的非凸算法的高概率界

PDF
TL;DR本文提出了一种新的简化的高概率分析 AdaGrad 的方法，并证明了它在光滑非凸问题中的收敛性，并且没有光滑度和方差知识。同时，我们在附加噪声假设下进一步证明了 AdaGrad 的噪声适应性。
adagradnon-convexconvergenceprobability analysisnoise adaptation
发现论文，激发创造
  • AdaGrad 步长：在非凸景观上的尖锐收敛

    本文提出了一种更新梯度下降步长的方法：AdaGrad-Norm，不需要微调步长计划，对于光滑的非凸函数具有收敛性，并具备健壮性

    Jun, 2018

  • 自适应梯度方法在细化平滑度和噪声假设下的收敛分析

    分析了 AdaGrad 在随机非凸优化中收敛速率，证明了存在优于 SGD 的收敛速度，并给出了收敛速率的上界和下界。

    Jun, 2024

  • 重新审视在放宽假设下的 AdaGrad 收敛性

    重新审视 AdaGrad 与动量的收敛性，研究非凸光滑优化问题中的噪声模型，分析概率收敛速度及广义平滑性

    Feb, 2024

  • 关于 AdaGrad (Norm) 在 $R^{d}$ 上的收敛：超越凸性、非渐近速率和加速

    本文针对平滑凸函数的标准和更一般的 quasar 凸函数提出了 AdaGrad 及其变体的深入理解，并提出了新的技术来明确界定未约束问题的纯净 AdaGrad 收敛速度，给出了一个新的 AdaGrad 变体，可以展示最终收敛而不是平均迭代，并在确定的情况下给出了新的加速自适应算法及其收敛保证。

    Sep, 2022

  • 非凸目标函数的 AdaGrad 收敛性：简单证明和宽松假设

    本文提供了一种简单的收敛证明方法，证明了当仅有仿射噪声方差和有界光滑性假设时，AdaGrad 优化非凸目标，本文基于一个新的辅助函数 ξ 来消除处理 AdaGrad 更新的分子和分母之间的相关性的复杂性，与现有结果相比得到了更紧的结果，并将分析扩展到了若干个新的重要情况。

    May, 2023

  • 自适应步长随机梯度下降算法的收敛性

    通过研究广义 AdaGrad 步长在凸和非凸设置中，本文证明了这些步长实现梯度渐近收敛于零的充分条件，从而填补了这些方法理论上的空白。此外，本文表明这些步长允许自动适应随机梯度噪声级别在凸和非凸情况下，实现 O（1/T）到 O（1 / 根号 T）的插值（带有对数项）。

    May, 2018

  • SGD 中的自适应能力：无界梯度和仿射方差下的自调步长

    本研究旨在研究基于观察的随机梯度的步长的变化，以最小化非凸光滑目标函数的 AdaGrad-Norm 的收敛速度，并表明 AdaGrad-Norm 在假设与最佳调优的非自适应 SGD 相同的情况下展现出与之相同的收敛速度，同时不需要任何调整参数。

    Feb, 2022

  • 非光滑随机梯度下降的严格分析

    使用随机梯度下降来最小化 Lipschitz 函数和强凸函数但不一定可微的问题，证明了在 T 步随机梯度下降后，最终迭代的误差高概率为 O (log (T)/T)；同时构造了一个函数，证明了在确定性梯度下降中，最终迭代的误差为 Ω(log (T)/T)；然后证明了在采用后缀平均法的情形下，它的高概率误差界是优化函数相关类别中的最优界（O (1/T)）；最后证明了对于 Lipschitz 和凸函数 class，使用随机梯度下降解决此问题后，最终迭代的误差高概率为 O (log (T)/sqrt (T))

    Dec, 2018

  • 关于一类 Adam 型非凸优化算法的收敛性

    本文研究一类自适应梯度基于动量的算法，这些算法同时使用过去的梯度更新搜索方向和学习率。该类算法被称为 Adam 类型，研究了一些充分条件，保证了这些方法在解决非凸优化问题时的收敛性，为训练深度神经网络提供了理论支持。另外，文中提出了一类（确定性）增量自适应梯度算法，收敛速度与 Adam 类型算法相同，可以应用于更广泛的机器学习和优化问题。

    Aug, 2018

  • 非凸优化的自适应梯度方法收敛性研究

    本文提供了关于一类自适应梯度方法（包括 AMSGrad，RMSProp 和 AdaGRad）在光滑非凸函数优化方面的收敛性分析，证明了期望下自适应梯度方法能够收敛到一阶稳定点，同时还证明了 AMSGrad，RMSProp 和 AdaGrad 的收敛速率，这些结论有助于更好地理解自适应梯度方法在优化非凸目标时的机制。

    Aug, 2018