通过离散化对应于 Nesterov 加速梯度方法和 Polyak 重球方法的常微分方程进行研究，我们考虑了三种离散化方案：显式欧拉方案，隐式欧拉方案和辛方案。我们表明，将辛方案应用于 Shi 等人提出的高分辨率 ODE 可以实现加速率，用于最小化平滑的强凸函数。另一方面，当方案是隐式的，ODE 是低分辨率的，或者方案是显式的时，得到的算法要么无法实现加速，要么是不实用的。

Feb, 2019

推导出与 Nesterov 加速梯度方法近似等价的二阶常微分方程，该 ODE 可用于分析，可以重启 Nesterov's 方案并且可以证明在目标函数强凸时，其具有线性收敛速率。

Mar, 2015

本文探讨了凸优化中梯度方法的加速现象，并将高阶梯度方法与拉格朗日泛函等价地联系起来，同时得出拉格朗日量具有时空不变性的结论。

Sep, 2015

通过强制欧拉 - 拉格朗日方程的新变分观点，我们提出了一种用于研究高分辨率 ODE 的方法，从而实现了更快的梯度范数最小化收敛速度并将 Nesterov 的方法解释为适当选择的高分辨率 ODE 的匹配速率离散化，最后通过与最先进的方法的数值实验比较和说明，我们提出了一种用于处理噪声梯度的随机方法。

Nov, 2023

本文研究了针对非强凸问题的梯度下降、均值梯度下降以及重球法等算法的加速，表明可以将这些算法重新表述为常数参数二阶差分方程算法，并提供了详细的稳定性分析和显式常数的稳定性结果。同时，本文还讨论了噪声梯度情况下的情况，并给出了一种新的算法。

Apr, 2015

本文研究了加速梯度方法在光滑非凸函数上的行为，提出了一类 Nesterov 型加速方法，并通过显式和隐式分析证明了其能够避免滑点并收敛于局部最小值。

Jul, 2023

该论文研究了基于高分辨率微分方程框架的 Nesterov 加速梯度下降的新的 Lyapunov 函数在欠阻尼情况下的特征，包括收敛速率和最小梯度范数平方的收敛速率，为参数 r 提供了连续依赖性，并且高分辨率微分方程近似模拟了关键情况下 NAG 的收敛行为。

Apr, 2023

本文研究了一类耗散哈密顿系统的结构保存离散化方法及其在机器学习中的应用，包括流行的加速优化算法 Nesterov 及 Polyak's heavy ball 的初步分析和新洞见，同时提出了一种基于耗散相对论系统的新算法可应用于加速优化但规避额外成本

Mar, 2019

通过将惯性系统与 Hessian 驱动的阻尼方程（ISHD）与基于学习的方法相结合，本文提出了一个综合框架，以理论洞察力的深度协同为基础，通过发展优化方法来研究加速方法的理解。

Jun, 2024

提出了一种新的加速一阶方法 (AXGD)，采用了预测 - 校正方法，解决了凸 - 凹鞍点问题，通过隐式欧拉离散化构建了加速连续时间动态模型，并通过原始 - 对偶视角进行了分析，对于其他类别的目标也能够达到最佳收敛速度。

Jun, 2017