采用基于哈密顿视角的方法，将 Nesterov 加速梯度下降法和 Polyak 重球方法泛化为广泛的动量方法，得到了无限制约束的最小化问题的一般性和统一性收敛分析，具有直观的时间变化哈密顿量和守恒量。

Jun, 2019

通过变分优化和动量微化，可以构建优化 Lie 群上定义的函数的显式的基于动量的动力学方法。本文研究了两种离散化方法：Lie Heavy-Ball 和 Lie NAG-SC，分别提供了 L 平滑性和局部强凸性的显式收敛速度。与现有的一般流形加速优化器相比，Lie Heavy-Ball 和 Lie NAG-SC 都计算成本更低、更易实现，因为它们利用了群结构。只需要梯度预言子和指数映射，而不需要计算昂贵的对数映射或平行运输。

May, 2024

通过离散化对应于 Nesterov 加速梯度方法和 Polyak 重球方法的常微分方程进行研究，我们考虑了三种离散化方案：显式欧拉方案，隐式欧拉方案和辛方案。我们表明，将辛方案应用于 Shi 等人提出的高分辨率 ODE 可以实现加速率，用于最小化平滑的强凸函数。另一方面，当方案是隐式的，ODE 是低分辨率的，或者方案是显式的时，得到的算法要么无法实现加速，要么是不实用的。

Feb, 2019

本研究提出了一种基于 Hamiltonian dynamical systems 和 symplectic integration 的框架，用于将加速梯度方法中连续时间动态转换成离散时间算法，从而实现 oracle 下界，这一框架将加速梯度方法引入了不同的优化领域。

Feb, 2018

在这篇论文中，我们提出了一种基于经典和加速动量方法之间的变分一对一对应的思想，对列伪群优化进行 Nesterov 类方法的推广，之前文献中主要关注的都是对 Polyak 的 Heavy Ball 方法进行推广，我们的数值实验结果显示了该方法的有效性。

Apr, 2024

本文探讨了凸优化中梯度方法的加速现象，并将高阶梯度方法与拉格朗日泛函等价地联系起来，同时得出拉格朗日量具有时空不变性的结论。

Sep, 2015

研究了基于梯度的优化和常微分方程的关系，提出了一种新的极限过程和高分辨率常微分方程模型，发现该模型比现有 ODEs 更为准确地刻画了 Nesterov 的加速梯度法（NAG-SC）以及 Polyak 的重球法之间的差异，对收敛性进行了分析，并利用此模型发现了关于 NAG-C 的新结果。

Oct, 2018

从动态系统的角度分析各种基于动量的优化算法的收敛速度，并利用连续依赖性等基本拓扑性质提供了一种简单的收敛速度表征。该分析包括离散时间和连续时间，以及时间不变和时间变量中的形式，并不局限于凸或欧几里得设置。此外，文章还严格建立了为什么辛普勒克离散方案对基于动量的优化算法很重要，并提供表现出加速收敛的算法的表征。

Feb, 2020

本文提出一类新的目标函数，其中只有参数的一个子集满足强凸性，并证明 Nesterov 的动量在这个目标类上实现了加速收敛，其中包括用于深度 ReLU 网络的两种实现方法，这是第一篇证明非平凡神经网络结构加速收敛率的论文。

Jun, 2023

该研究发展了新技术，能够分析连续两个时间点的 Hessian 变化如何影响收敛速度，从而证明了一类 Polyak-Łojasiewicz 优化问题可以通过引入 Heavy Ball dynamic 来实现证明加速。此外，通过我们的分析还表明了一种自适应设置动量参数的好处。

Jun, 2022