本文提出一种针对一类非光滑复合问题的贪心更新规则，其中包括 $L1$- 正则化问题，SVM 等应用程序。我们提供了独立于 $n$ 的首个线性收敛速度，并且证明了我们的贪心更新规则提供了类似于光滑情况下所获得的速度提升。此外，我们还展示了我们的新选择规则可以映射到最大内积搜索实例中，从而利用标准最近邻算法来加速实现。通过广泛的数值实验证明了该方法的有效性。

Oct, 2018

本文提出了一种用于计算竞争性双人游戏纳什均衡的新算法，该算法基于正则化双线性局部逼近的纳什均衡，避免了交替梯度下降中出现的振荡和发散，而且在达到指数级 (局部) 收敛性的同时，其收敛和稳定性的性质对于玩家之间的强交互是稳健的，具有更快的收敛速度。

May, 2019

本文基于凸优化中函数是光滑和非光滑组合的形式，证明了一种适用于大类凸优化问题的随机近端梯度算法收敛性质，其避免了平均化和理论研究中常见但实际中不一定满足的有界性假设，证明了一系列强、弱收敛性结果，并得到了期望意义下的 $O (1/n)$ 的有界性结果。

Mar, 2014

本篇研究分析几种解决非凸优化问题的新方法，其中目标函数为由非凸光滑项和已知凸简单项组成的总和，提出了随机坐标下降算法，并研究了它们的收敛性质及一些最优性衡量指标。同时，还针对一般情况下的非凸复合优化问题，证明了算法所生成的序列渐近收敛到固定点，同时在某些最优性测度下期望具有亚线性收敛率，如果目标函数满足误差界限条件，则导出了目标函数期望值的局部线性收敛率，并进行了广泛的数值实验来评估算法性能和与现有方法的比较。

May, 2013

通过开发随机块坐标下降法，我们证明该方法能够以概率至少为 1-rho 获得 Epsilon - 准确解，其迭代次数不超过 O (n / Epsilon*log (1/rho))，并且将前人研究的复杂度缩小 4 倍，消除了对数项中的 Epsilon，并成功地解决了 l1 正则化最小二乘和支持向量机等问题。

Jul, 2011

本篇论文研究了关于随机逼近问题的现有算法，提出了两种新型随机梯度算法，并在回归和逻辑分类两种经典的监督学习问题上进行了测试，得到了较好的优化效果。

Jun, 2013

通过在巨大规模优化问题的坐标下降方法中对坐标选择提出一种新的选择准则，其效率显著优于均匀随机选择，并可以达到最陡坐标下降（SCD）的效率，使加速达到最多 n 倍，并在许多实际应用中可以不花费任何额外成本且计算效率非常接近更快的均匀选择。数值实验表明，该方法具有很好的性能改进，并符合理论保证。

Jun, 2017

考虑由二次函数的期望值和任意凸函数组合成的复合目标函数的最小化问题，我们研究了随机双均值算法在恒定步长下的特性，证明其无需强凸假设即可获得 O (1/n) 的收敛速度，从而将欧几里得几何中关于最小二乘回归的较早结果扩展到了 (a) 所有凸正则化器以及约束条件，以及（b）由 Bregman 距离表示的所有几何形状。通过一种新的证明技巧来实现这一点，该技巧将随机和确定性递归联系起来。

Feb, 2017

提出了一种基于半随机坐标下降（S2CD）的新型随机梯度方法，用于最小化表示为大量平滑凸函数平均值的强凸函数，我们所提出的方法具有非常好的稳定性和计算复杂度。

Dec, 2014

本文研究带复杂约束条件下在线凸优化问题，提出了一种基于镜像投影算法的新算法，可以在任何范数空间中实现低后悔和低约束违反度。

Jun, 2020