本文研究了随机草图方法，以近似解决带有一般凸约束的最小二乘问题，并提出了一种名为迭代 Hessian 草图的新方法，同时提供了数值模拟实验，包括面部表情分类实验。

Nov, 2014

该研究提出了一种随机化的二阶优化方法 ——Newton Sketch，使用随机投影或子采样 Hessian 实现近似牛顿步。对于自共轭函数，该算法证明具有超线性收敛和指数高概率，与条件数和相关问题独立的收敛和复杂度保证。对于适当的初始化，即使在没有自共轭的情况下，也可以保证类似的保证对于强凸和光滑的目标。我们还描述了将我们的方法扩展到具有自共轭屏障的凸约束程序。我们讨论和说明了其应用于线性程序，带有凸约束的二次程序，逻辑回归和其他广义线性模型以及半定规划的扩展问题。

May, 2015

该研究发展了一种基于随机迭代的方法来解决线性系统问题，并通过变化两个参数来恢复广泛的已知算法，并且在单个定理中证明了误差的指数收敛，并给出了预期迭代的精确公式。

Jun, 2015

本研究提出了一种实用的不精确增广拉格朗日方法（iALM）用于具有非凸问题和非线性约束，这种方法可以在计算复杂度上符合理论结果。

Jun, 2019

提出了非凸问题的近似解决方案；采用了三次正则化和信任域算法的不精确变体，并且可以应用于有限和问题，通过随机子采样法对梯度和 Hessian 进行适当精度逼近，实现了计算效率与最优迭代复杂度的权衡。

Feb, 2018

提出了一个在分散优化设置下设计原始方法的框架，该框架适用于局部函数光滑且强凸。通过近似解决由加速增广拉格朗日方法引起的一系列子问题，从而提供了一种演导出几个著名的分散算法的系统方法。当与加速梯度下降相结合时，我们的框架会产生一种新的原始算法，其收敛速度是最优的，并且与最近确定的下限相匹配。我们提供实验结果，证明了拟议算法在高度病态问题上的有效性。

Jun, 2020

本文研究了通过子采样获得渐进和海森矩阵的近似解来解决随机优化问题，提出了利用这些近似的 Newton-like 方法，并讨论了如何协调渐进和海森矩阵的准确度，得到期望中的超线性收敛速度。该文第二部分分析了一种利用共轭梯度方法近似求解线性系统的不精确 Newton 方法，并且采样的是海森矩阵而不是梯度（梯度被认为是精确的）。我们提供了一种基于 CG 迭代和海森矩阵近似质量的复杂度分析，并将其与采用随机梯度迭代而不是 CG 方法的方法进行了比较。最后，我们报告了初步的数值结果，说明了在 logistic 回归的机器学习应用中，不精确子采样牛顿方法的表现。

Sep, 2016

本研究提出了一种改进的不精确增广拉格朗日方法（iALM），并通过统一分析证明了针对具有线性等式或非凸约束的非凸问题的 iALM 的高效性，该算法在实践中比罚函数方法表现显著更好。我们的数值实验验证了所提出的方法的有效性，具有重要的理论和实践意义。

Jul, 2020

我们提出了一种用于大规模优化问题的快速草图算法，可以处理凸或非凸正则化函数的正则化优化问题。我们给出了原始问题与草图问题的近似误差的一般理论结果，并在温和条件下获得了稀疏信号估计的极小化速率。此外，我们还提出了一种迭代草图算法，可以指数级地减小近似误差。实验结果证明了我们的算法的有效性。

Nov, 2023

本文提出一种有效的算法来解决图像恢复应用中的约束问题，包括去卷积和从压缩观测中重建图像，使用总变差或小波（或更一般的框架）正则化。该算法属于增广 Lagrange 方法的范畴，并表现出在一定条件下具有收敛性。本文的结果表明，所提出的算法在图像恢复领域中具有最先进的技术水平。

Dec, 2009