该研究提出了一种名为“Vite”的基于Stochastic Quasi-Newton算法的优化方法，它利用一种现有的一阶技术来减少噪声和方差，并在大规模学习问题上取得了不错的结果。
Mar, 2015
该研究提出了一种名为SVRG的算法，可用于处理强凸目标以外的任务并提供更高效的解决方案，并且该算法在许多著名的实际应用中都具有较好的表现。
Jun, 2015
本论文提出了一种优化方法，该方法融合了加速梯度下降、随机方差减少梯度的优点，适用于非强凸和强凸问题，并在效率和收敛速率上都有优异表现。
提出了一种新的随机优化算法，可以高效地解决凸-凹二次问题，并适用于更广泛类别的问题，该算法以局部更新的形式实现，可以使用非均匀采样来加速算法。
May, 2016
本文提出了针对复合目标强凸的情况下，带有方差约束的随机梯度下降法，其收敛速度优于传统的随机梯度下降法，同时常数因子也更小，只与输入数据的方差有关。
Oct, 2016
本文提出了一种渐进协同优化梯度算法的统一视角，通过推广Nesterov引入的估计序列概念，覆盖了随机梯度下降法，SAGA和SVRG等方法，并提出了具有同样保证的新的算法，并推导了使这些算法抗击随机噪声的通用策略，最终证明了该视角有助于得到新的加速算法。
May, 2019
本文介绍了在目标函数为凸或强凸函数时获取加速一阶随机优化算法的各种机制，同时扩展了最初用于确定性目标的Catalyst方法到随机问题领域，并提供了一个新的关于处理不精确近端算子时的鲁棒性的泛化分析
Jun, 2019
提出一种新方法解决一类复合随机非凸优化问题，通过组合两种随机估计量形成混合估计量，将之应用于多种变体的随机梯度法中以达到最优的复杂度界限。
Jul, 2019
本文为最小化平滑和凸损失加上凸正则化的随机梯度算法提供了一致的收敛性分析定理，并探讨了特定算法的最优小批量大小。
Jun, 2020
本文讨论了一类随机光滑凸优化问题，其噪声的方差与算法产生的近似解的次优性有关，提出了两个非欧几里德加速随机逼近算法，即随机加速梯度下降（SAGD）和随机梯度外推（SGE），并证明了在适当的条件下，这两个算法可以同时达到最优的迭代和样本复杂度。同时本文还提出了应用SGE进行恢复稀疏解的方法。
Jul, 2023