本文介绍了使用随机零阶查询优化高维凸函数的问题，提出了两种算法，并表明两种算法只依赖于问题的环境维度的对数收敛率。实证研究证明了理论发现，并表明我们设计的算法在高维场景中优于经典的零阶优化方法。

Oct, 2017

本文针对随机凸优化问题，提出了局部复杂度度量，并给出了与优化固有几何概念相对应的统计难度的收敛结果。基于 Nesterov 的对偶平均方法和 Riemannian 方法，开发出完全在线的适应性最优收敛算法，实现了函数特定的下界和收敛结果，并对约束鉴别和线性约束与非线性约束等方面做了探讨。

Dec, 2016

对于大部分基于凸优化的统计 $M$- 估计器，我们分析了解决这些问题的渐进收敛速度，并在高维框架中工作，我们定义了适当限制的条件，并证明了这些条件适用于各种统计模型，我们的理论保证了项目的概率几何收敛速度不断提高，最高可达到模型的统计精度，这个结果比以往收敛结果更加尖锐，这适用于 $M$- 估计器和各种统计模型，展现了高维估计中统计精度和计算效率的有趣联系。

Apr, 2011

本文提出了一种可扩展的随机主化最小化方案，能够应对大规模或可能无限的数据集，解决凸优化问题，并开发了几种基于此框架的有效算法，包括一个新的随机近端梯度方法，用于大规模 l1 逻辑回归的非凸稀疏估计的在线 DC 编程算法和解决大规模结构矩阵分解问题的有效性。

Jun, 2013

本文介绍了一种用于最小化预期对数损失的随机一阶算法，解决了凸优化问题中由于损失函数的缺乏 Lipschitz 连续性和平滑性而导致标准迭代复杂度保证不直接适用的问题，提出的算法取得了比现有方法更好的复杂度和性能。

Nov, 2023

本文提出了两种基于随机梯度下降方法的可能非凸稀疏约束优化问题的贪心变体算法，证明了在指定容差范围内的期望收敛线性到解决方案。这种普适的框架适用于诸如压缩感知中的稀疏信号恢复、低秩矩阵恢复和协方差矩阵估计等问题，提供具有可证明的收敛保证的方法，通常优于其确定性对应物。我们还分析了仅能近似计算梯度和投影的情况，并证明了这些方法对这些近似是鲁棒的。我们包括许多数字实验，这些实验与理论分析相一致，并在多个不同的设置中展示这些改进。

Jul, 2014

我们提出了一种随机梯度框架，用于解决具有（可能）无限数量的线性包含约束条件的随机复合凸优化问题，而这些约束条件需要几乎确定。我们使用平滑和同伦技术处理约束条件，无需矩阵投影，并且通过数值实验表明，我们的算法实现了最先进的实用性能。

Jan, 2019

我们提出了一种基于随机方差减少优化算法的稀疏学习问题求解方法，该方法在满足一定条件下具有线性收敛保证和高维度下的最优估计精度。我们进一步将该算法扩展到一种异步并行版本，具有近似线性加速。数值实验表明，我们的算法在参数估计和计算性能方面都具有高效性。

May, 2016

本篇论文研究了关于随机逼近问题的现有算法，提出了两种新型随机梯度算法，并在回归和逻辑分类两种经典的监督学习问题上进行了测试，得到了较好的优化效果。

Jun, 2013

考虑由二次函数的期望值和任意凸函数组合成的复合目标函数的最小化问题，我们研究了随机双均值算法在恒定步长下的特性，证明其无需强凸假设即可获得 O (1/n) 的收敛速度，从而将欧几里得几何中关于最小二乘回归的较早结果扩展到了 (a) 所有凸正则化器以及约束条件，以及（b）由 Bregman 距离表示的所有几何形状。通过一种新的证明技巧来实现这一点，该技巧将随机和确定性递归联系起来。

Feb, 2017