本文研究了梯度方法在凸优化中的收敛行为，证明了仅满足某些线段上的 Lipschitz 连续性和强凸性条件时，其复杂度可达到已知的最优值。同时，利用切线条件和投影的约束得到了更为松弛的条件，并应用于稀疏优化问题中构造更快的求解算法。

Mar, 2013

本文提供了用于计算强凸光滑函数的梯度（或 Cauchy 梯度下降）方法和自准共轭函数的 Newton 方法（包括不准确搜索方向的情况）的最坏情况性能分析的新工具，并通过半定规程性能评估分析扩展了最近 2017 年 Optimization Letters 论文中作者对 Cauchy 方法的性能评估结果，然后通过使用这些工具以一种创新的方式对使用不准确搜索方向的短步长内点法的复杂性进行了演示。作为此框架中的示例，我们概述了如何通过 Abernethy 和 Hazan 在 2016 年的 PMLR 论文中的最近内点法的最坏情况复杂性的严格分析。

Sep, 2017

我们开发了一种梯度下降法的新次优性边界，该边界依赖于优化路径中的目标条件，而不是全局最坏情况下的常数。我们的证明关键在于方向平滑性，这是一种梯度变化的度量，我们用它来开发上界约束。通过求解隐式方程来最小化这些上界约束，我们展示了这些方程对于凸二次函数是容易解决的，并为两种传统步长提供了新的保证。对于一般函数，我们证明了 Polyak 步长和归一化梯度下降法尽管不使用方向平滑性的任何知识，但能够获得快速的路径相关性。逻辑回归上的实验证明，我们的收敛保证比基于 L 平滑性的传统理论更紧致。

Mar, 2024

本文研究了最速下降法在具有 Lipschitz 连续梯度的强凸函数中的精确线性搜索，并确定了该方案的最差收敛速度，证明了某些凸二次函数展示的最差行为。我们还给出了一种噪声变体的最差复杂性边界，通过改变搜索方向，该方向与负梯度的值之差最多只有一个预定的相对容差，并借助于半定规划性能估计问题的解决方法进行了计算机辅助证明

Jun, 2016

本文介绍了一种新的非均匀光滑条件下的优化方法，并开发出一种简单但有效的分析技术来限制沿轨迹的梯度，从而获得更强的凸优化和非凸优化问题的结果。我们通过这种新方法证明了（随机）梯度下降和 Nesterov 加速梯度法在这种一般的光滑条件下的收敛率，而不需要梯度剪裁，并允许在随机场景中的有界方差的重尾噪声。

Jun, 2023

我们开发了一个新的框架来研究光滑和强凸优化算法，特别是针对二次函数，我们能够将优化算法作为线性运算的递归应用程序来检查，这揭示了一种强大的联系，即一类优化算法与多项式的分析理论之间的联系，从而导出了新的下界和上界，同时我们还以多项式相关的最优解的形式表达它，从而对 Nesterov 著名的加速梯度下降方法进行了新的系统推导。

Mar, 2015

研究非凸二次可微成本函数的梯度下降问题，在一定的限制下得出收敛到鞍点的初始条件的测度为零的结论。此外，该结果扩展到前向不变凸子空间，并提供了可允许步长的上限。

May, 2016

本文采用性能评估问题方法，优化了平滑凸优化的一阶方法的步长系数，以使得梯度范数减少的效率最大化。结果表明，该方法在大维度平滑凸优化问题下，具有最优的最坏梯度界限，且具有类似于优化梯度方法的计算高效形式。

Mar, 2018

本文提出了一种基于误差界的方法，通过与 Kurdyka-Łojasiewicz 不等式的相互作用和设计一维最坏情况的近似方法，分析了针对凸约束问题的首阶下降方法的复杂度。

Oct, 2015

本文提出了新的计算方法和相关计算保证，利用一阶方法来解决凸优化问题，并且引入了增长常数 G 用作计算复杂度分析。特别地，当函数 f (・) 为非光滑函数时，提供了 Subgradient Descent Method 和平滑方法的新的计算保证。当 f (・) 是光滑函数时，对重新启动加速梯度方法的方案进行了阐述。

Nov, 2015