ICMLJul, 2018

非凸优化中 RMSProp 和 ADAM 的收敛性保证及与 Nesterov 加速的实证比较

PDF
TL;DR本篇论文探讨了 ADAM 和 RMSProp 优化算法的理论性质和收敛性能，并通过实验比较了它们与 Nesterov 梯度法在多种自编码器结构和数据集上的表现，并表明调整其超参数可以获得更好的泛化性能。
adamrmspropneural netsconvex objectivesgradient methods
发现论文，激发创造
  • 广义平滑非凸优化中的 RMSProp 和 Adam 的收敛保证与仿射噪声方差

    该论文在最宽松的坐标普适光滑性和仿射噪声方差假设下，为 RMSProp 和 Adam 在非凸优化中提供了首个收敛性分析，首先分析了 RMSProp，然后将分析推广到 Adam，表明它们的迭代复杂度与复杂性下界一致。

    Apr, 2024

  • ADAM 在非凸背景下的常数步长收敛性：一个简单的证明

    我们在非凸设置中对 ADAM 的常数步长版本进行理论分析，证明了步长达到几乎肯定的渐近收敛性所需的充分条件，并提供了在处理平滑的非凸函数时确定性 ADAM 达到近似临界性的运行时界限。

    Sep, 2023

  • Adam 和 RMSProp 收敛的充分条件

    介绍了一种易于检查的充分条件，仅依赖于基本学习率和历史二阶动量的组合，以保证泛型 Adam/RMSProp 的全局收敛性，同时证明了几种变体的收敛性，并且阐明了 Adam 和 RMSProp 的本质区别。

    Nov, 2018

  • 非凸优化的自适应梯度方法收敛性研究

    本文提供了关于一类自适应梯度方法（包括 AMSGrad，RMSProp 和 AdaGRad）在光滑非凸函数优化方面的收敛性分析，证明了期望下自适应梯度方法能够收敛到一阶稳定点，同时还证明了 AMSGrad，RMSProp 和 AdaGrad 的收敛速率，这些结论有助于更好地理解自适应梯度方法在优化非凸目标时的机制。

    Aug, 2018

  • Adam 及其发展的收敛性研究

    通过给 Adam 算法加上‘长期记忆’过去梯度的方法，不仅可以解决收敛问题，而且经常提高算法的实验性能。

    Apr, 2019

  • Adam 在放宽假设下的随机优化收敛性

    在具有潜在无界梯度和仿射方差噪声的非凸光滑场景下，研究了 Adam 算法的理论性质，证明了它能够以高概率在多项式时间复杂度内找到一个稳定点，同时具有较好的自适应性能。

    Feb, 2024

  • 关于一类 Adam 型非凸优化算法的收敛性

    本文研究一类自适应梯度基于动量的算法，这些算法同时使用过去的梯度更新搜索方向和学习率。该类算法被称为 Adam 类型，研究了一些充分条件，保证了这些方法在解决非凸优化问题时的收敛性，为训练深度神经网络提供了理论支持。另外，文中提出了一类（确定性）增量自适应梯度算法，收敛速度与 Adam 类型算法相同，可以应用于更广泛的机器学习和优化问题。

    Aug, 2018

  • 标准化方向保留 Adam

    本文提出了一种变种 Adam 算法 - 基于方向保持且具有归一化的 Adam 算法 (ND-Adam)，通过更精确的权重向量更新来消除 Adam 和 SGD 之间的推广差距，并进一步改善了分类任务中的推广性能。

    Sep, 2017

  • Adam 算法在宽松条件下的收敛性

    本文提供了自适应矩估计（Adam）算法对于广泛类别的优化目标的收敛性严谨证明，并在更为现实的条件下证明了 Adam 算法可收敛于 ε- 稳定点。同时，我们提出了一种方差抑制的加速梯度复杂度版本的 Adam 算法。

    Apr, 2023

  • 偏见自适应随机逼近的非渐近分析

    本研究通过非渐进性分析，探讨具有偏倚梯度和自适应步长的随机梯度下降算法，包括时间依赖的偏倚和梯度估计器的均方误差控制，结果表明带偏倚梯度的 Adagrad 和 RMSProp 算法收敛速率与无偏情况下的结果相似，实验结果进一步验证了收敛性，并展示了通过适当的超参数调整可以减少偏倚影响的能力。

    Feb, 2024