本文提出了一种新的梯度流方案，可在固定时间内从任何给定的初始条件收敛到凸优化问题的最优点，包括无约束优化、有约束优化和 min-max 问题，并应用于无约束优化问题和线性等式约束的凸优化问题中，在 Lagrangian dual 的基础上提出了一种新的方法来计算 min-max 问题的最优解，并开发了一种修改后的计算方法，以在固定时间内获得 saddle-point dynamics 的最优解。

Aug, 2018

本文介绍了一种基于梯度的凸优化算法，提出了一种广义框架用于设计具有最强收敛保证的加速优化算法，该算法进一步扩展到一类非凸函数，具有 Polyak-Łojasiewicz 不等式，并且证明了 GenFlow 算法和其动量版本可以在固定时间内收敛于最优解，特别是对于存在非退化鞍点的函数，该算法可以均匀地控制逃离这些鞍点所需的时间。同时在一系列基准数据集上验证了该算法的优异性能。

Dec, 2022

本文探讨了凸优化中梯度方法的加速现象，并将高阶梯度方法与拉格朗日泛函等价地联系起来，同时得出拉格朗日量具有时空不变性的结论。

Sep, 2015

本研究提出了一种基于 Hamiltonian dynamical systems 和 symplectic integration 的框架，用于将加速梯度方法中连续时间动态转换成离散时间算法，从而实现 oracle 下界，这一框架将加速梯度方法引入了不同的优化领域。

Feb, 2018

本文通过分析 Gradient Flow 在目标函数收敛时的性质，提供了 SGD 收敛的一般条件，研究了 Lyapunov potentials 与目标函数几何性质的关联，并给出了 SGD 收敛的保证，适用于一些复杂问题。

Oct, 2022

本文从连续时间的角度研究了加速方法，发现 Bregman Lagrangian 是一种生成各种加速方法的拉格朗日函数，其中包括 Nesterov 成果的系统方法。

Mar, 2016

基于 SGD，本文提出了一种统一框架来解决随机优化中非凸条件下的收敛分析问题，并发现了两种插入加速方法：拒绝加速和随机向量加速，理论上证明这两种方法可以直接提高收敛速度。

Feb, 2024

在机器学习应用中，梯度优化方法的加速是一个实际和理论上感兴趣的问题。大多数研究关注欧几里得空间上的优化，但鉴于在许多机器学习问题中需要在概率测度空间上进行优化，研究在这个背景下的加速梯度方法很有意义。为此，我们介绍了与欧几里得空间中基于矩的方法类似的哈密顿流方法。我们证明了基于这种方法的算法可以实现任意高阶的收敛速度。数值例子证明了我们的论断。

Oct, 2023

研究了 Nesterov 加速梯度方法在随机逼近和有限和设置下的表现，发现使用通常的步长和动量参数，该方法在后者可能发散，进而阐明了这种方法在此情况下可能失败的原因。

Feb, 2020

该研究探讨了基于梯度的优化算法在机器学习应用中的收敛速度、遗憾界限等指标以及其与稳定性保证之间的关系，并提供了更为通用的稳定性保证，以促进实时学习应用的安全可靠部署。

May, 2024