一种线性收敛的随机L-BFGS算法
本文提出了一个新的随机梯度方法用于优化一组平滑函数的和，其中和是强凸的。与标准随机梯度方法在这个问题上的次线性收敛相比，该方法通过记忆之前的梯度值来实现线性收敛率。在机器学习的背景下，数值实验表明，该方法可以明显优于标准算法，不仅在优化训练误差方面，而且可以快速降低测试误差。
Feb, 2012
介绍了如何利用正则化随机 BFGS 或 RES 方法以利用随机梯度下降算法来解决高维、随机目标函数下的凸优化问题，并通过数值实验展示了相对于随机梯度下降算法以及非正则化随机版本的 BFGS 具有更优的收敛时间。
Jan, 2014
本研究介绍了Prox-SVRG及其投影变体VRPSG算法，用于解决一类在机器学习中广泛使用的非强凸优化问题。通过SSC不等式的使用，本文证明了两种算法可以在无强凸性的情况下实现线性收敛率。
Jun, 2014
该研究提出了一种名为“Vite”的基于Stochastic Quasi-Newton算法的优化方法，它利用一种现有的一阶技术来减少噪声和方差，并在大规模学习问题上取得了不错的结果。
Mar, 2015
本文研究带有非凸随机函数的随机非凸优化，并提出一种称为 NCG-S 的新型更新步骤，可以在高概率下实现二阶收敛，所提出的随机算法是首个具有高概率二阶收敛和几乎是线性时间复杂度的方法。
Oct, 2017
提出一种带有方差缩减的新型随机共轭梯度算法，并使用Fletcher和Reeves方法证明其对于强凸光滑函数的线性收敛性。 实验表明，与其他算法相比，该算法在四个学习模型中收敛更快，同时在六个大数据集上表现相当，但计算效率显著提高。
Oct, 2017
本研究开发了一种适用于分布式和共享内存的异步并行随机L-BFGS算法，它利用了随机梯度马尔科夫链蒙特卡罗技术的优势，在非凸优化问题中提供了可行性和收敛性的证明，并在多个实验中验证了该算法的优越性能。
Jun, 2018
本文提出了一种新的基于梯度的随机凸复合优化方法，将估计序列概念推广到随机优化算法中，以一种简单通用的方式证明了众多随机优化算法的收敛性，并提出几种可靠性策略。
Jan, 2019