研究了基于Nesterov的对偶平均算法的随机优化算法，在预期损失是强凸的且最优解是（近似）稀疏的问题上进行优化，证明了在局部Lipschitz损失下，在T轮迭代后，我们的解决方案的误差最多为O（（slogp）/T），并确立了我们的收敛率是最佳的，且在数值模拟中通过对最小二乘回归问题进行几个基准线的比较，证实了我们方法的有效性。

Jul, 2012

本篇论文研究了关于随机逼近问题的现有算法，提出了两种新型随机梯度算法，并在回归和逻辑分类两种经典的监督学习问题上进行了测试，得到了较好的优化效果。

Jun, 2013

本文介绍了一种基于近端随机对偶坐标上升方法的算法，并演示了如何使用内外迭代过程加速该方法。我们分析了该框架的运行时，并获得了改进各种关键机器学习优化问题（包括SVM、逻辑回归、岭回归、套索以及多类别SVM）的最新结果的速率。实验验证了我们的理论发现。

Sep, 2013

通过Stochastic Dual Newton Ascent算法，我们提出一种新的途径最小化正则化经验损失，该方法更新了随机子集的对偶变量，可以利用模型中所有曲率信息，实践中有着明显的提高，特别对于二次损失函数。

Feb, 2015

提出了一种利用小批量方案改进半随机梯度下降（S2GD）方法的 mS2GD，该方法主要用于最小化一个由很多光滑凸函数的平均值和一个简单的非光滑凸正则化器组成的强凸函数，分析表明，该方法在具有小批量效应和简单并行实现方案的情况下，可以加速算法的收敛过程。

Apr, 2015

该研究提出了一种名为SVRG的算法，可用于处理强凸目标以外的任务并提供更高效的解决方案，并且该算法在许多著名的实际应用中都具有较好的表现。

Jun, 2015

本文提出了新的随机原始对偶算法，用于解决具有线性预测器的正则化经验风险最小化问题。通过泰勒展开、凸组合和割平技巧得到具有较优复杂度和收敛性质的算法，进一步提出了方差减少版算法和数值实验表明该算法在高维问题上优于现有算法，收敛速度更快。

Nov, 2018

论文提出了一种新的随机优化方法，它有针对性地偏向于高损失值的观测结果，并证明该算法对于凸损失具有亚线性收敛率，对于弱凸损失（非凸）具有关键点，同时在 SVM、逻辑回归和深度学习等模型中获得了更好的测试误差。

Jul, 2019

本文首次表征凸形 ERM 在高维广义线性模型推断中的基本统计精度界限，推导出任意损失函数和正则化参数值的紧凑下界，并精确评价了损失函数和正则化参数值的优化调整。

Jun, 2020

我们扩展了 Approximate-Proximal Point 方法，在随机凸优化问题中应用包括随机次梯度、近端点和束方法，同时提出了更快的模型算法和加速方案，保持了 Approximate-Proximal Point 算法的鲁棒性，同时提供了更快的收敛速度和更低的界限。我们通过实证测试证实了理论结果的可行性。

Jan, 2021