本文研究利用外推算法解决非凸优化问题的收敛性，并通过分析梯度下降和随机梯度下降算法证明外推可以加速算法的收敛速度。

Jan, 2019

我们研究了涉及具有凸目标函数（平滑或非平滑）和额外的线性或非线性平滑凸约束的几类非常重要的半定优化问题，这些问题在统计学、机器学习、组合优化和其他领域中非常普遍。我们关注高维和合理设置的情况，在这种情况下，问题具有满足低秩互补条件的低秩解。我们提供了几个理论结果，证明在这些情况下，众所周知的 Extragradient 方法，在在接近最优原始 - 对偶解的位置初始化时，使用低秩奇异值分解（SVD）将收敛到约束优化问题的解，并具有标准收敛速度保证，而不需要在最坏情况下需要计算成本高昂的全秩 SVD。我们的方法得到了使用 Max-Cut 实例数据集进行的数值实验的支持。

Feb, 2024

本文研究了求解由平滑强凸函数和可得到其 Proximal 算子的非光滑凸函数组成的函数和的最优收敛速度，并利用半定规划等工具，建立了 Proximal 梯度算法的准确最坏情况收敛速度，同时提出可将强凸性等条件放宽以保证相应的收敛速度，得到了三种性能度量的同一步长最优的证明。

May, 2017

本文探讨了使用近端梯度法优化平滑凸函数和非平滑凸函数的和时，如果在计算平滑项的梯度或非平滑项的邻近算子时存在误差，基本的近端梯度法和加速近端梯度法可以实现与没有错误的情况下相同的收敛率，前提是错误以适当的速度减小。使用这些速度，在一组结构稀疏性问题上，我们的表现与精心选择的固定误差级别相当或更好。

Sep, 2011

我们提出了一种新颖的随机牛顿近端外推方法，改进了过去的方法，并在更少的迭代次数内达到更快的全局线性速率和相同的快速超线性速率。

Jun, 2024

本文研究了使用外推方法解决光滑凸函数的一阶最小化问题的加速率。通过建立收敛速度与相对 Lipschitz 连续性的关系，进一步推广了框架以处理局部和随机相对 Lipschitz 连续性，并基于区域凸性和加速（随机）坐标下降实现了盒约束ℓ∞回归的复杂度界。

Nov, 2020

本文考虑了随机泛型不等式问题及其解决方案，利用局部随机平滑方案求解，并证明了该解决方案在平均意义下和几乎肯定意义下都能收敛到问题的解，同时也实现了 $1/k$ 的收敛速度。

Mar, 2014

本文研究了最速下降法在具有 Lipschitz 连续梯度的强凸函数中的精确线性搜索，并确定了该方案的最差收敛速度，证明了某些凸二次函数展示的最差行为。我们还给出了一种噪声变体的最差复杂性边界，通过改变搜索方向，该方向与负梯度的值之差最多只有一个预定的相对容差，并借助于半定规划性能估计问题的解决方法进行了计算机辅助证明

Jun, 2016

研究交替近端最小化算法在非凸结构函数中的应用，证明其收敛性质，并提供压缩感知和秩降问题的具体应用。

Jan, 2008

提出了一种新的加速一阶方法 (AXGD)，采用了预测 - 校正方法，解决了凸 - 凹鞍点问题，通过隐式欧拉离散化构建了加速连续时间动态模型，并通过原始 - 对偶视角进行了分析，对于其他类别的目标也能够达到最佳收敛速度。

Jun, 2017