推导出与 Nesterov 加速梯度方法近似等价的二阶常微分方程，该 ODE 可用于分析，可以重启 Nesterov's 方案并且可以证明在目标函数强凸时，其具有线性收敛速率。

Mar, 2015

本文探讨了凸优化中梯度方法的加速现象，并将高阶梯度方法与拉格朗日泛函等价地联系起来，同时得出拉格朗日量具有时空不变性的结论。

Sep, 2015

本文从连续时间的角度研究了加速方法，发现 Bregman Lagrangian 是一种生成各种加速方法的拉格朗日函数，其中包括 Nesterov 成果的系统方法。

Mar, 2016

本文采用耗散理论的控制理论概念，提供了关于 Nesterov 加速方法的一种自然理解，并利用能量耗散的物理直观概念将严格的收敛率分析与其联系。此外，耗散性理论使得可以有效构建 Lyapunov 函数（数值上或解析上），使用新型供应速率函数，我们展示如何恢复出已知的 Nesterov 方法速率界，并将该方法推广到多种情况下证明线性和次线性速率。最后，将其与算法分析的最近作品相连，应用于常微分方程轨迹离散化等问题。

Jun, 2017

研究了 Nesterov 加速梯度方法在随机逼近和有限和设置下的表现，发现使用通常的步长和动量参数，该方法在后者可能发散，进而阐明了这种方法在此情况下可能失败的原因。

Feb, 2020

通过离散化对应于 Nesterov 加速梯度方法和 Polyak 重球方法的常微分方程进行研究，我们考虑了三种离散化方案：显式欧拉方案，隐式欧拉方案和辛方案。我们表明，将辛方案应用于 Shi 等人提出的高分辨率 ODE 可以实现加速率，用于最小化平滑的强凸函数。另一方面，当方案是隐式的，ODE 是低分辨率的，或者方案是显式的时，得到的算法要么无法实现加速，要么是不实用的。

Feb, 2019

本文提出了连续 Nesterov 加速法，将 Nesterov 加速法的变量用连续时间参数索引，使两个变量连续混合，其间隔时间内随机进行梯度步骤。我们证明了该变体具有与 Nesterov 原始加速法相似的收敛率，并且具有连续和离散框架的最佳性能。我们展示了连续 Nesterov 加速法在随机 / 确定梯度及其噪声下的应用，并将异步 gossip 算法的问题表示为某种能量函数的随机最小化问题，提供了第一个基于该连续框架的异步 gossip 加速定理。

Jun, 2021

研究了基于梯度的优化和常微分方程的关系，提出了一种新的极限过程和高分辨率常微分方程模型，发现该模型比现有 ODEs 更为准确地刻画了 Nesterov 的加速梯度法（NAG-SC）以及 Polyak 的重球法之间的差异，对收敛性进行了分析，并利用此模型发现了关于 NAG-C 的新结果。

Oct, 2018

我们提出了一种适应梯度下降优化方法中更新方向的统一框架，并通过重构经典动量法和 Nesterov 加速梯度法来解释后者算法的新直观解释。我们展示了一种新算法 —— 正则化梯度下降 —— 比 Nesterov 算法或经典动量算法更快地收敛。

Jul, 2016

该论文研究了基于高分辨率微分方程框架的 Nesterov 加速梯度下降的新的 Lyapunov 函数在欠阻尼情况下的特征，包括收敛速率和最小梯度范数平方的收敛速率，为参数 r 提供了连续依赖性，并且高分辨率微分方程近似模拟了关键情况下 NAG 的收敛行为。

Apr, 2023