NIPSMar, 2015

用一个微分方程模拟 Nesterov 的加速梯度下降法：理论和洞见

PDF
TL;DR推导出与 Nesterov 加速梯度方法近似等价的二阶常微分方程，该 ODE 可用于分析，可以重启 Nesterov's 方案并且可以证明在目标函数强凸时，其具有线性收敛速率。
nesterov's accelerated gradient methodordinary differential equationconvergence ratesstrongly convex objectivecontinuous time
发现论文，激发创造
  • 通过高分辨率微分方程理解加速现象

    研究了基于梯度的优化和常微分方程的关系，提出了一种新的极限过程和高分辨率常微分方程模型，发现该模型比现有 ODEs 更为准确地刻画了 Nesterov 的加速梯度法（NAG-SC）以及 Polyak 的重球法之间的差异，对收敛性进行了分析，并利用此模型发现了关于 NAG-C 的新结果。

    Oct, 2018

  • 关于 Nesterov 加速的动态系统视角

    利用动力学系统框架理解 Nesterov 加速梯度方法的原理及机制，探究了半隐式欧拉积分方案离散化普通微分方程的加速效应，分析发现曲率依赖阻尼项是实现加速的关键。同时，建立了离散化和连续时间动态之间的联系。

    May, 2019

  • 关于优化中的加速方法

    本文探讨了凸优化中梯度方法的加速现象，并将高阶梯度方法与拉格朗日泛函等价地联系起来，同时得出拉格朗日量具有时空不变性的结论。

    Sep, 2015

  • 直接龙格 - 库塔离散化实现加速

    通过直接离散化与 Nesterov 的加速梯度方法相关的二阶常微分方程，我们研究了基于梯度的优化方法。当函数足够平滑时，我们证明了通过标准龙格库塔数值积分器对该 ODE 进行稳定离散化，可以实现加速。此外，我们引入了一个新的局部平坦条件，该条件被机器学习中使用的多个标准损失函数满足。我们提供了验证我们结果预测的理论速率的数值实验。

    May, 2018

  • 加速额外梯度下降：一种新的加速一阶方法

    提出了一种新的加速一阶方法 (AXGD)，采用了预测 - 校正方法，解决了凸 - 凹鞍点问题，通过隐式欧拉离散化构建了加速连续时间动态模型，并通过原始 - 对偶视角进行了分析，对于其他类别的目标也能够达到最佳收敛速度。

    Jun, 2017

  • 从平均到加速，只有步长

    本文研究了针对非强凸问题的梯度下降、均值梯度下降以及重球法等算法的加速，表明可以将这些算法重新表述为常数参数二阶差分方程算法，并提供了详细的稳定性分析和显式常数的稳定性结果。同时，本文还讨论了噪声梯度情况下的情况，并给出了一种新的算法。

    Apr, 2015

  • 一种几何替代 Nesterov 加速梯度下降算法的方法

    我们提出了一种新的优化方法，通过类似于椭球体法的简单几何解释，实现了超平滑何强凸函数的无约束优化，并在数值实验中证明了其优于 Nesterov 加速梯度下降。

    Jun, 2015

  • 优化加速方法的变分视角

    本文从连续时间的角度研究了加速方法，发现 Bregman Lagrangian 是一种生成各种加速方法的拉格朗日函数，其中包括 Nesterov 成果的系统方法。

    Mar, 2016

  • 利用辛离散化加速高分辨率微分方程求解

    通过离散化对应于 Nesterov 加速梯度方法和 Polyak 重球方法的常微分方程进行研究，我们考虑了三种离散化方案：显式欧拉方案，隐式欧拉方案和辛方案。我们表明，将辛方案应用于 Shi 等人提出的高分辨率 ODE 可以实现加速率，用于最小化平滑的强凸函数。另一方面，当方案是隐式的，ODE 是低分辨率的，或者方案是显式的时，得到的算法要么无法实现加速，要么是不实用的。

    Feb, 2019

  • 关于 Nesterov 加速梯度方法在随机设置下的收敛性

    研究了 Nesterov 加速梯度方法在随机逼近和有限和设置下的表现，发现使用通常的步长和动量参数，该方法在后者可能发散，进而阐明了这种方法在此情况下可能失败的原因。

    Feb, 2020