本文探讨了凸优化中梯度方法的加速现象，并将高阶梯度方法与拉格朗日泛函等价地联系起来，同时得出拉格朗日量具有时空不变性的结论。

Sep, 2015

提出了一种新的 MinMax 优化算法家族，它利用早期迭代所观察到的梯度数据的几何信息，以在后期执行更具信息性的额外梯度步骤，从而自适应地检测问题是否光滑。

Oct, 2020

本论文研究两人零和可微分博弈梯度方法的局部纳什均衡，证明了只要 S 为非零偏曲率，且反对称矩阵 A 的特征向量与 S 核的一般位置相关，则达到收敛，重点研究了连续游戏和极大极小博弈中的应用。

May, 2023

本文证明，在计算梯度时只要误差小且一致，Nesterov 的一阶优化算法的最优复杂度不变，应用到半定规划中，仅计算当前迭代的少数前导特征值而不是全矩阵指数，大幅减少了方法的计算成本，同时还可使用稀疏最大特征值包有效地解决稀疏问题。

Dec, 2005

算法设计为在欧几里得或单纯形域内最小化 max (f_i (x))，若每个 f_i 为 1-Lipschitz 和 1 - 光滑函数，我们的方法可以在评价复杂度中找到 ε- 近似解，并具有优化性能。

Nov, 2023

本文针对深度学习建立在梯度下降收敛局部极小值的基础上这一保证在生成对抗网络等存在多个交互损失的情况下失效问题，研究了 N 人不可微分博弈的动态性，提出了一种新的算法 Symplectic Gradient Adjustment (SGA) 可以在更一般的情境下应用，并有基于理论保证的鲁棒性。

May, 2019

本研究提出了一种基于 Hamiltonian dynamical systems 和 symplectic integration 的框架，用于将加速梯度方法中连续时间动态转换成离散时间算法，从而实现 oracle 下界，这一框架将加速梯度方法引入了不同的优化领域。

Feb, 2018

我们开发了一个新的框架来研究光滑和强凸优化算法，特别是针对二次函数，我们能够将优化算法作为线性运算的递归应用程序来检查，这揭示了一种强大的联系，即一类优化算法与多项式的分析理论之间的联系，从而导出了新的下界和上界，同时我们还以多项式相关的最优解的形式表达它，从而对 Nesterov 著名的加速梯度下降方法进行了新的系统推导。

Mar, 2015

本文介绍了用于凸优化中的加速技术的两个关键方法族（动量和嵌套优化方案），动量方法结构收敛证明使用几个主模板（例如用于优化梯度方法的那个）和近端加速，探讨了重新启动方案和一些常见的加速的技术。

Jan, 2021

本文研究了针对非强凸问题的梯度下降、均值梯度下降以及重球法等算法的加速，表明可以将这些算法重新表述为常数参数二阶差分方程算法，并提供了详细的稳定性分析和显式常数的稳定性结果。同时，本文还讨论了噪声梯度情况下的情况，并给出了一种新的算法。

Apr, 2015