Mar, 2016

优化加速方法的变分视角

PDF
TL;DR本文从连续时间的角度研究了加速方法，发现 Bregman Lagrangian 是一种生成各种加速方法的拉格朗日函数，其中包括 Nesterov 成果的系统方法。
accelerated gradient methodscontinuous-time perspectivebregman lagrangiannesterov's techniquediscrete-time accelerated algorithms
发现论文，激发创造
  • 关于优化中的加速方法

    本文探讨了凸优化中梯度方法的加速现象，并将高阶梯度方法与拉格朗日泛函等价地联系起来，同时得出拉格朗日量具有时空不变性的结论。

    Sep, 2015

  • 广义动量法：哈密顿视角

    采用基于哈密顿视角的方法，将 Nesterov 加速梯度下降法和 Polyak 重球方法泛化为广泛的动量方法，得到了无限制约束的最小化问题的一般性和统一性收敛分析，具有直观的时间变化哈密顿量和守恒量。

    Jun, 2019

  • 加速方法

    本文介绍了用于凸优化中的加速技术的两个关键方法族（动量和嵌套优化方案），动量方法结构收敛证明使用几个主模板（例如用于优化梯度方法的那个）和近端加速，探讨了重新启动方案和一些常见的加速的技术。

    Jan, 2021

  • 关于辛优化

    本研究提出了一种基于 Hamiltonian dynamical systems 和 symplectic integration 的框架，用于将加速梯度方法中连续时间动态转换成离散时间算法，从而实现 oracle 下界，这一框架将加速梯度方法引入了不同的优化领域。

    Feb, 2018

  • 关于 Nesterov 加速梯度方法在随机设置下的收敛性

    研究了 Nesterov 加速梯度方法在随机逼近和有限和设置下的表现，发现使用通常的步长和动量参数，该方法在后者可能发散，进而阐明了这种方法在此情况下可能失败的原因。

    Feb, 2020

  • 非凸优化的加速梯度算法：从严格鞍点的逃逸轨迹到局部极小值的收敛

    本文研究了加速梯度方法在光滑非凸函数上的行为，提出了一类 Nesterov 型加速方法，并通过显式和隐式分析证明了其能够避免滑点并收敛于局部最小值。

    Jul, 2023

  • 关于 Nesterov 加速的动态系统视角

    利用动力学系统框架理解 Nesterov 加速梯度方法的原理及机制，探究了半隐式欧拉积分方案离散化普通微分方程的加速效应，分析发现曲率依赖阻尼项是实现加速的关键。同时，建立了离散化和连续时间动态之间的联系。

    May, 2019

  • 一种几何替代 Nesterov 加速梯度下降算法的方法

    我们提出了一种新的优化方法，通过类似于椭球体法的简单几何解释，实现了超平滑何强凸函数的无约束优化，并在数值实验中证明了其优于 Nesterov 加速梯度下降。

    Jun, 2015

  • 通过高分辨率微分方程理解加速现象

    研究了基于梯度的优化和常微分方程的关系，提出了一种新的极限过程和高分辨率常微分方程模型，发现该模型比现有 ODEs 更为准确地刻画了 Nesterov 的加速梯度法（NAG-SC）以及 Polyak 的重球法之间的差异，对收敛性进行了分析，并利用此模型发现了关于 NAG-C 的新结果。

    Oct, 2018

  • 用一个微分方程模拟 Nesterov 的加速梯度下降法：理论和洞见

    推导出与 Nesterov 加速梯度方法近似等价的二阶常微分方程，该 ODE 可用于分析，可以重启 Nesterov's 方案并且可以证明在目标函数强凸时，其具有线性收敛速率。

    Mar, 2015