本文提出了增量 Newton 方法和梯度增长条件，通过实例研究，发现增量 Newton 方法需要满足梯度增长条件才能达到线性收敛率，进而得到了分布式优化方法的线性收敛率结果。

Oct, 2014

本文研究了解决光滑的非强凸约束优化问题的一些一阶方法的收敛率，提供了一些松弛的强凸条件并证明了它们对于多种一阶方法的线性收敛是足够的，最后证明了所提出的松弛强凸条件涵盖了求解线性系统、线性规划和线性约束凸问题的重要应用。

Apr, 2015

研究了带有准自共轭平滑成分的复合凸优化问题，通过使用基本的牛顿法结合梯度正则化，提出了一种简单而高效的算法，并应用于多个实际问题，包括逻辑回归、软最大和矩阵缩放，无需对目标函数进行额外的假设，并且获得了快速全局线性收敛率。

Aug, 2023

本文研究了立方正则化牛顿法在解决具有一致凸性目标的复合最小化问题时的迭代复杂度。在引入某种程度的二阶条件数的概念后，我们证明了在非退化情况下具有自适应正则化参数估计的方法具有线性收敛率。我们的算法自动实现了具有 H"older 连续的目标平滑部分的不同问题类别中均匀凸目标函数的全局最佳复杂度界限。作为我们发展的副产品，我们证明了牛顿法在具有一致有界二阶导数的强凸函数类上的全局迭代复杂度始终优于梯度法。

May, 2019

本文介绍了一种新的非均匀光滑条件下的优化方法，并开发出一种简单但有效的分析技术来限制沿轨迹的梯度，从而获得更强的凸优化和非凸优化问题的结果。我们通过这种新方法证明了（随机）梯度下降和 Nesterov 加速梯度法在这种一般的光滑条件下的收敛率，而不需要梯度剪裁，并允许在随机场景中的有界方差的重尾噪声。

Jun, 2023

该研究提出了一种随机化的二阶优化方法 ——Newton Sketch，使用随机投影或子采样 Hessian 实现近似牛顿步。对于自共轭函数，该算法证明具有超线性收敛和指数高概率，与条件数和相关问题独立的收敛和复杂度保证。对于适当的初始化，即使在没有自共轭的情况下，也可以保证类似的保证对于强凸和光滑的目标。我们还描述了将我们的方法扩展到具有自共轭屏障的凸约束程序。我们讨论和说明了其应用于线性程序，带有凸约束的二次程序，逻辑回归和其他广义线性模型以及半定规划的扩展问题。

May, 2015

通过对 Shor 子梯度分析的推广，我们将子梯度方法的经典收敛速度理论扩展到可适用于非 Lipschitz 函数。我们证明了在任何具有局部 Lipschitz 性的凸函数中，确定性投影子梯度算法的全局 O（1/√T）收敛速度。我们还表明，对于具有最多二次增长的凸函数，随机投影子梯度方法的收敛速度为 O（1/√T），在强凸性或较弱的二次下限条件下，该速度可进一步提高至 O (1/T)。

Dec, 2017

本文论述了大规模优化问题中 Sub-sampling 的迭代算法，提供了 Hessian 和梯度子采样的收敛边界，使用随机数值线性代数来获得适当的采样策略，并为在大规模线性系统下近似更新的情况下的全局收敛结果提供了解决方案

Jan, 2016

本文提出了一种更高效的准牛顿方法，它将对称秩 - 1 更新纳入增量框架中，从而得到了不依赖条件数的局部超线性收敛速率。此外，我们通过在 Hessian 近似上应用块更新来提升方法，以实现更快的局部收敛速率。数值实验表明，所提出的方法明显优于基准方法。

Feb, 2024

研究了一种基于动力学系统模拟的优化方法，该方法使用常量步长和一阶梯度信息，在更大的凸函数类中实现线性收敛性，包括那些在其极小值点处可能具有奇异或未有界的二阶导数，该方法的动力学梯度映射可以设计成以凸共轭的形式整合信息，允许在非平滑或非强凸的凸函数上实现线性收敛。

Sep, 2018