May, 2018

直接龙格-库塔离散化实现加速

HTML
PDF
TL;DR通过直接离散化与Nesterov的加速梯度方法相关的二阶常微分方程，我们研究了基于梯度的优化方法。当函数足够平滑时，我们证明了通过标准龙格库塔数值积分器对该ODE进行稳定离散化，可以实现加速。此外，我们引入了一个新的局部平坦条件，该条件被机器学习中使用的多个标准损失函数满足。我们提供了验证我们结果预测的理论速率的数值实验。
发现论文，激发创造
  • 具有龙格-库塔平均数的概率ODE求解器

    本研究构建了一族概率数值方法，利用高斯-马尔科夫过程定义微分方程的概率分布，并通过与经典 Runge-Kutta 方法进行比较来确保其后验均值完全匹配，为微分方程解决方案提供更丰富的概率输出。

    Jun, 2014

  • 优化加速方法的变分视角

    本文从连续时间的角度研究了加速方法，发现Bregman Lagrangian是一种生成各种加速方法的拉格朗日函数，其中包括Nesterov成果的系统方法。

    Mar, 2016

  • Nesterov的加速梯度和动量作为正则化更新下降的近似

    我们提出了一种适应梯度下降优化方法中更新方向的统一框架，并通过重构经典动量法和Nesterov加速梯度法来解释后者算法的新直观解释。我们展示了一种新算法——正则化梯度下降——比Nesterov算法或经典动量算法更快地收敛。

    Jul, 2016

  • 加速自然梯度与高阶不变性

    本文使用里奥曼几何和数值微分方程的理论研究，探讨了自然梯度算法的基本不变性质在小步长应用场景的问题。我们提出了一种使用高阶积分器和测地线修正的方案以获得更不变的优化轨迹，并在神经网络和强化学习任务中展示了该方案的有效性和计算效率不输自然梯度本身。

    Mar, 2018

  • 通过高分辨率微分方程理解加速现象

    研究了基于梯度的优化和常微分方程的关系，提出了一种新的极限过程和高分辨率常微分方程模型，发现该模型比现有ODEs更为准确地刻画了Nesterov的加速梯度法（NAG-SC）以及Polyak的重球法之间的差异，对收敛性进行了分析，并利用此模型发现了关于NAG-C的新结果。

    Oct, 2018

  • 利用辛离散化加速高分辨率微分方程求解

    通过离散化对应于Nesterov加速梯度方法和Polyak重球方法的常微分方程进行研究，我们考虑了三种离散化方案：显式欧拉方案，隐式欧拉方案和辛方案。我们表明，将辛方案应用于Shi等人提出的高分辨率ODE可以实现加速率，用于最小化平滑的强凸函数。另一方面，当方案是隐式的，ODE是低分辨率的，或者方案是显式的时，得到的算法要么无法实现加速，要么是不实用的。

    Feb, 2019

  • 关于Nesterov加速的动态系统视角

    利用动力学系统框架理解Nesterov加速梯度方法的原理及机制，探究了半隐式欧拉积分方案离散化普通微分方程的加速效应，分析发现曲率依赖阻尼项是实现加速的关键。同时，建立了离散化和连续时间动态之间的联系。

    May, 2019

  • 论过阻尼 Nesterov 加速法

    该论文研究了基于高分辨率微分方程框架的Nesterov加速梯度下降的新的Lyapunov函数在欠阻尼情况下的特征，包括收敛速率和最小梯度范数平方的收敛速率，为参数r提供了连续依赖性，并且高分辨率微分方程近似模拟了关键情况下NAG的收敛行为。

    Apr, 2023

  • 非凸优化的加速梯度算法：从严格鞍点的逃逸轨迹到局部极小值的收敛

    本文研究了加速梯度方法在光滑非凸函数上的行为，提出了一类Nesterov型加速方法，并通过显式和隐式分析证明了其能够避免滑点并收敛于局部最小值。

    Jul, 2023

  • 用于解决时间依赖偏微分方程的非线性参数化的顺序时间训练

    顺序时间方法用于训练非线性参数化模型（如神经网络）以近似求解偏微分方程随时间变化的解轨迹。本文指出顺序时间训练方法可以广义地理解为优化-离散化或离散化-优化的方案，并将其与数值分析中已知的概念联系起来。其统一视角提供了新的稳定性和后验误差分析结果，从而揭示了优化-离散化或离散化-优化方案固有的理论和数值方面的洞察，如切空间崩溃现象（一种过拟合形式）。此外，统一视角有助于建立顺序时间训练方法的不同变体之间的连接，例如将能量泛函上的自然梯度下降方法识别为应用于相应梯度流的优化-离散化方案。

    Apr, 2024