Aug, 2018

关于一类 Adam 型非凸优化算法的收敛性

PDF
TL;DR本文研究一类自适应梯度基于动量的算法，这些算法同时使用过去的梯度更新搜索方向和学习率。该类算法被称为 Adam 类型，研究了一些充分条件，保证了这些方法在解决非凸优化问题时的收敛性，为训练深度神经网络提供了理论支持。另外，文中提出了一类（确定性）增量自适应梯度算法，收敛速度与 Adam 类型算法相同，可以应用于更广泛的机器学习和优化问题。
adaptive gradient based momentum algorithmsconvergencenonconvex stochastic optimizationlearning ratemachine learning
发现论文，激发创造
  • Adam 系列算法的新收敛分析

    本研究通过对 Adam 优化器家族进行分析，提出了一种适用于包括 min-max、组合和双层优化问题的简单且通用的渐进收敛证明方法，并证明了使用随机梯度估计器的方差减少结果。

    Dec, 2021

  • UAdam: 非凸随机优化的统一 Adam 型算法框架

    我们介绍了一个统一的 Adam 型算法框架 (UAdam)，并在非凸随机设置下对其进行了收敛性分析，证明 UAdam 以 $\mathcal {O}(1/T)$ 的速率收敛于传统的 Adam 型算法 (如 NAdam、AMSGrad、AdaBound、AdaFom 和 Adan) 的次局部最优解附近，其中，区域大小随着 β 的增加而减小。此外，我们还发现只需将一阶动量因子靠近 1 即可使得分析成立，为 Adam 型算法的进一步分析和应用提供了理论保证。

    May, 2023

  • 非凸随机优化中 ADAM 算法的收敛性和动态行为

    本文介绍了 Adam 算法的一个连续时间版本，并证明了在稳定性条件下，该算法能够收敛于目标函数的临界点。作者还介绍了一种新的步长递减 Adam 算法，并分析了算法的波动性，采用条件中心极限定理证明算法有收敛性。

    Oct, 2018

  • Adam 及其发展的收敛性研究

    通过给 Adam 算法加上‘长期记忆’过去梯度的方法，不仅可以解决收敛问题，而且经常提高算法的实验性能。

    Apr, 2019

  • Adam 在放宽假设下的随机优化收敛性

    在具有潜在无界梯度和仿射方差噪声的非凸光滑场景下，研究了 Adam 算法的理论性质，证明了它能够以高概率在多项式时间复杂度内找到一个稳定点，同时具有较好的自适应性能。

    Feb, 2024

  • 非凸优化的自适应梯度方法收敛性研究

    本文提供了关于一类自适应梯度方法（包括 AMSGrad，RMSProp 和 AdaGRad）在光滑非凸函数优化方面的收敛性分析，证明了期望下自适应梯度方法能够收敛到一阶稳定点，同时还证明了 AMSGrad，RMSProp 和 AdaGrad 的收敛速率，这些结论有助于更好地理解自适应梯度方法在优化非凸目标时的机制。

    Aug, 2018

  • 关于 AMSGrad 的收敛证明和新版本

    该研究提出 Adam 和 AMSGrad 优化算法在处理超参数均衡性问题上收敛证明难以解决，提供了多种解决方法并实验证明了效果。

    Apr, 2019

  • 关于马尔科夫采样下 Adam 型强化学习算法的非渐近收敛性

    本文第一次为 policy gradient 和 temporal difference learning 两个基本的强化学习算法 (并带有 AMSGrad 更新) 提供了收敛性分析，特别关注于马尔科夫采样，证明 PG-AMSGrad 和 TD-AMSGrad 在应用于非线性函数逼近时，采用不同步长都能收敛，本研究为分析 Adam 型强化学习算法提供了新技术。

    Feb, 2020

  • Adam 算法在宽松条件下的收敛性

    本文提供了自适应矩估计（Adam）算法对于广泛类别的优化目标的收敛性严谨证明，并在更为现实的条件下证明了 Adam 算法可收敛于 ε- 稳定点。同时，我们提出了一种方差抑制的加速梯度复杂度版本的 Adam 算法。

    Apr, 2023

  • 具收敛性保证的非光滑优化的 Adam 家族方法

    研究了 Adam 族方法在非光滑优化尤其是在训练非光滑神经网络方面的收敛性，提出了一个采用双时间尺度更新方案的新颖框架并证明了其在温和假设下的收敛性，介绍了一些植入了梯度剪切技术的随机次梯度方法并通过实验证明其高效性和健壮性。

    May, 2023