我们开发了一个新的框架来研究光滑和强凸优化算法，特别是针对二次函数，我们能够将优化算法作为线性运算的递归应用程序来检查，这揭示了一种强大的联系，即一类优化算法与多项式的分析理论之间的联系，从而导出了新的下界和上界，同时我们还以多项式相关的最优解的形式表达它，从而对Nesterov著名的加速梯度下降方法进行了新的系统推导。

Mar, 2015

提出了一种混合条件梯度方法，可用于在多面体P上最小化平滑凸函数，该方法结合了Frank-Wolfe算法和基于梯度的步骤，并通过保持迭代点为P的极端点的有限数量的稀疏凸组合，避免了向P投影的优点，实现了强凸函数的线性收敛。

May, 2018

本文提出一种针对一类非光滑复合问题的贪心更新规则，其中包括$L1$-正则化问题，SVM等应用程序。我们提供了独立于$n$的首个线性收敛速度，并且证明了我们的贪心更新规则提供了类似于光滑情况下所获得的速度提升。此外，我们还展示了我们的新选择规则可以映射到最大内积搜索实例中，从而利用标准最近邻算法来加速实现。通过广泛的数值实验证明了该方法的有效性。

Oct, 2018

研究在高度并行的梯度预言下，非光滑凸优化问题中梯度下降算法的优化次数上限，证明了仅当算法经过~(d)^(1/2)轮的交互，梯度下降才是最优算法，并提出一种思路更优的算法。

Jun, 2019

研究了随机梯度下降（SGD）算法在最小化光滑、可能非凸函数梯度范数方面的迭代复杂度，结果表明，Ghadimi和Lan的上限不能得到改进，除非做出额外的假设，即使对于凸二次函数，也是如此；此外还表明，对于非凸函数，SGD最小化梯度的可行性需要根据所选择的最优性标准而定。

Oct, 2019

本文提出了一种现代观点和一般性的数学框架，用于涵盖超参数机器学习模型和非线性方程组的损失景观和高效优化，其中包括超参数深度神经网络，并说明这些系统的PL$^*$条件密切相关，这解释了（S）GD对全局最小值的收敛，并提出了一个放松PL$^*$条件的方法可应用于几乎超参数系统。

Feb, 2020

本文通过分析优化问题的计算复杂性，阐明了一系列非凸非凹目标函数的约束极值优化问题存在的困难，同时证明了该问题在Nemirovsky-Yudin模型中的难度，这与最小化问题在同样设置下可以使用Projected Gradient Descent进行近似局部最小值的行为形成了对比。

Sep, 2020

该论文主要介绍了基于Gauss-Seidel类型的块坐标下降算法（BCD-PR）的近端正则化方法，以及提出了一种双重正则化的原始问题的对偶算法，并将其应用于Wasserstein CP-字典学习中，从而实现了优化问题的求解。

Jun, 2023

非凸优化中寻找近似驻点的计算和查询复杂性是本文的关键研究内容，其中包括在无约束域中寻找近似驻点的问题的PLS完备性、二维情况下的零阶算法以及近似驻点的查询复杂性的特征化，同时还研究了约束优化问题中寻找近似KKT点的查询复杂性，并指出约束优化中近似KKT点与无约束优化中近似驻点的对应关系。

Oct, 2023

研究梯度算法在学习稀疏函数（juntas）时的复杂性。引入了一种称为可微学习查询（DLQ）的统计查询类型，用于建模指定损失相对于任意模型的梯度查询。提供了对于在通用产品分布上学习稀疏函数的DLQ查询复杂性的紧密刻画。DLQ查询复杂性关键取决于损失函数。对于平方损失，DLQ与相关统计查询（CSQ）的复杂性相匹配——可能比SQ复杂得多。但对于其他简单损失函数，包括l1损失，DLQ总是实现与SQ相同的复杂性。还提供了DLQ确实可以捕捉（随机）梯度下降学习的证据，通过展示其正确描述均场区域和线性放缩中两层神经网络学习的复杂性。

Jul, 2024