本文提出了一种基于分布式随机算法的方差约简方法，以解决在多代理网络中进行大规模非凸有限和优化问题，提出了 GT-VR 算法，并证明了其收敛性和效率优于一些现有的一阶方法。

Jun, 2021

本文提出了针对复合目标强凸的情况下，带有方差约束的随机梯度下降法，其收敛速度优于传统的随机梯度下降法，同时常数因子也更小，只与输入数据的方差有关。

Oct, 2016

本文提出一种基于随机零阶梯度与方差降低的高斯平滑的新型方法，用于优化非凸函数，特别是深度神经网络的黑盒攻击问题，并在实验中证明了其比现有的导数 - free 优化技术表现更优。

May, 2018

该综述对有限数据集的优化中方差缩减方法的主要原理和主要发展进行了概述，重点在于凸设定，并留下指向感兴趣的读者的指针。

Oct, 2020

提出一种带有方差缩减的新型随机共轭梯度算法，并使用 Fletcher 和 Reeves 方法证明其对于强凸光滑函数的线性收敛性。 实验表明，与其他算法相比，该算法在四个学习模型中收敛更快，同时在六个大数据集上表现相当，但计算效率显著提高。

Oct, 2017

提出了一种多级方案来逐渐减少随机梯度方差的新的近端随机梯度方法，用于解决平滑组件函数的平均和简单近端映射的一般凸函数总和的极小化问题。

Mar, 2014

本文提出了一种基于随机复合梯度法和增量方差缩减估计器的方法来最小化非凸函数的期望值和有限和，尽管丧失了复合梯度估计器的无偏性，但该方法达到了最佳已知一阶方法的复杂度，扩大了增量方差缩减方法在机器学习中的应用范围。

Jun, 2019

本文介绍了基于不同减小方差的随机梯度的三种非凸随机交替方向乘子方法，包括 SVRG-ADMM、SAG-ADMM 和 SAGA-ADMM，并通过一些温和的条件建立了这些方法的迭代复杂度界限为 O (1/ε)，最后通过数值实验证明了方法的有效性。

Oct, 2016

该研究探讨了基于方差缩减的优化算法，尤其是异步版本的 SVRG 和 SAGA 在机器学习中的应用和实验表现。研究结果表明，该方法在稀疏设置下实现了近线性加速。

Jun, 2015

本文研究了针对 Wasserstein 距离的多种变量减少方法（包括 SAGA Langevin 扩散、SVRG Langevin 扩散和控制变量欠阻尼 Langevin 扩散）的收敛性保证，同时对后验分布进行了一致的假设：光滑、强凸和 Hessian Lipschitz。通过一种新的证明技术，结合了有限和最优化与抽样方法分析的思想，我们得到了尖锐的理论上界，可以确定每种方法比其他方法更好的兴趣范围，并通过对真实世界和合成数据集的实验验证了我们的理论。

Feb, 2018