本文提供了关于正则化 M - 估计器局部最优解的新理论结果，覆盖了许多感兴趣的非凸目标函数，包括误差 - 变量线性模型的校正套索方法，具有非凸罚项的广义线性模型回归，以及高维图模型估计，我们提供了误差的上限，证明了我们的理论结果，同时提出了一种简单的修改方法，使得可以在 log (1/∊) 步内以任意精度获得近似全局最优解，这是任何一阶方法可能达到的最快速度。

May, 2013

在处理高维稀疏线性模型、有重尾分布和 / 或异常点污染的数据时，研究正则化鲁棒 M - 估计量的理论性质，首先在错误分布满足一定条件时建立一种罚函数回归估计器的局部统计一致性形式，并在这种条件下证明了这些估计器的极小化误差达到了 Lasso 估计量亚高斯错误的极小值，接着通过使用合适的非凸正则化器代替 l1 惩罚，证明了这些稳态点实际上是独一无二的，并等于正确支持的本地 Oracle 解，这对于有效地处理重尾误差具有重要的影响。

Jan, 2015

通过矩阵分解和投影梯度下降算法解决约束最优化问题，提供了一种通用理论框架，当给定适当的初始化时，可以几何级数地收敛到具有统计意义的解，适用于许多具体模型。

Sep, 2015

研究非凸优化问题中梯度下降算法的隐式正则化特性，证明在多种统计模型中，梯度下降算法在没有显式正则化的情况下也能够实现正则化，并在相位恢复、低秩矩阵补全和盲反卷积等三个基本统计估计问题中实现近乎最优的统计和计算保证。

Nov, 2017

提出了一种近似正则化路径追踪方法，用于求解许多具有非凸问题求解的学习问题，该算法迭代复杂度与全正则化路径相同，可以同时提供统计和计算收敛率的显式表达式，并可以实现全局几何收敛，以及对于所有近似局部解的样本复杂度分析和精确支持恢复结果。

Jun, 2013

提出一种基于平均加速正则梯度下降的算法，通过细化初值和 Hessian 矩阵的假设，最优地优化回归问题，并证明其在偏差与方差之间具有最优性、大数据时初始化影响可达到 O（1/n2）以及对于维度 d 的依赖程度为 O（d/n）。

Feb, 2016

本文提出了一种适用于 Riemann 流形上低秩矩阵恢复问题的新的全局分析框架，其中使用 Riemann 梯度下降算法最小化最小二乘损失函数，并研究了渐近行为以及精确收敛速率。

Dec, 2020

研究了基于 Nesterov 的对偶平均算法的随机优化算法，在预期损失是强凸的且最优解是（近似）稀疏的问题上进行优化，证明了在局部 Lipschitz 损失下，在 T 轮迭代后，我们的解决方案的误差最多为 O（（slogp）/T），并确立了我们的收敛率是最佳的，且在数值模拟中通过对最小二乘回归问题进行几个基准线的比较，证实了我们方法的有效性。

Jul, 2012

研究高维稀疏线性回归问题在存在噪声、缺失或相关的数据时的情况下，提出了基于投影梯度下降的估计器，并且证明其在多项式时间内收敛到所有全局最小值的近邻，并给出了在统计和计算两个方面的理论保证。

Sep, 2011

通过使用二阶信息的标准化梯度下降法（NormGD）来解决参数估计问题，可以在样本量 n 的对数数量级内收敛，从而实现了达到最终统计半径的最优总体计算复杂度 O (n)。

Feb, 2022