该研究探讨了基于方差缩减的优化算法，尤其是异步版本的SVRG和SAGA在机器学习中的应用和实验表现。研究结果表明，该方法在稀疏设置下实现了近线性加速。

Jun, 2015

本研究分析了随机变量缩减梯度（SVRG）方法在非凸有限和问题中的应用，证明了其比随机梯度下降（SGD）和梯度下降（GD）更快收敛于固定点，并分析了一类SVRG在解决非凸问题上的线性收敛，同时研究了mini-batch变体的SVRG在并行设置中加速的外延。

Mar, 2016

CheapSVRG is proposed as a new stochastic variance-reduction optimization scheme which achieves a linear convergence rate through a surrogate computation while also balancing computational complexity.

Mar, 2016

研究表明，我们开发并分析了一种基于梯度的优化过程，我们称之为随机控制随机梯度（SCSG）。作为SVRG算法集合中的一员，SCSG利用了两个尺度上的梯度估计，在快速尺度上的更新次数受到几何随机变量的控制。与大多数现有算法不同，SCSG的计算成本和通信成本不一定与样本大小n成线性比例关系；实际上，当目标精度较低时，这些成本与n无关。对真实数据集的实验评估确认SCSG的有效性。

Sep, 2016

运用耗散理论对两种方差降低算法(SVRG和Katyusha)进行新的解释，从能量守恒的角度提供物理图像化的直观理解，将这种新视角的工具用于捕捉SVRG等方法的特性，以进行收敛性分析。

Jun, 2018

本篇论文介绍了一种简单的随机方差减小(MiG)算法及其在强凸和非强凸问题中最佳的收敛速率，并在稀疏和异步情况下介绍了其有效的变体并在这些情况下理论化分析其收敛速率。最后，我们进行了大量的实验，如逻辑回归等，以证明在串行和异步设置中的实际改进。

Jun, 2018

本文探讨了随机方差缩小技术在优化中的应用，研究发现在训练现代深度神经网络中，由于遇到难解的非凸优化问题，直接应用SVRG技术等方法效果不佳。

Dec, 2018

本文设计了随机方差减少梯度方法（SVRG）和其加速变体（Katyusha）的无循环变体，证明了其在理论上具有与原始方法相同的卓越收敛性能，通过数值实验证明了这些方法在实践中具有显着优越性。

Jan, 2019

该研究使用改进的SVRG算法创新性地找到一个非凸函数的二阶稳定点，并提出了使用稳定性SVRG算法的方法。

May, 2019

本文提出了 Stochastic Variance-Reduced Gradient 方法的两种变体应用于 Policy Evaluation，可以显著减少梯度计算次数，同时保持线性收敛速度，理论分析表明这些方法不需要在每次迭代中使用整个数据集，仅需用于线性函数逼近问题，实验结果展示了这种方法带来的大量计算节省。

Jun, 2019