一种支配所有的方法：用于数据、参数和多种新方法的方差缩减

May, 2019

一种支配所有的方法：用于数据、参数和多种新方法的方差缩减

One Method to Rule Them All: Variance Reduction for Data, Parameters and Many New Methods

Filip Hanzely, Peter Richtárik

TL;DR提出了一种通用的降方差的方法，适用于解决带有大量训练样例或大型模型维度或两者都有的正则化经验风险最小化问题。该方法可以减少已知的多种方法，同时提供了一种单一的定理，该定理可以证明在平滑和拟强凸性假设下的线性收敛性。此外，该方法还为随机梯度和随机坐标下降等方法提供了首个统一的方法和理论。

Abstract

We propose a remarkably general variance-reduced method suitable for solving regularized empirical risk minimization problems with either a large number of training examples, or a large model dimension, or both.

variance-reduced method regularized empirical risk minimization linear convergence stochastic gradient descent stochastic coordinate descent

发现论文，激发创造

随机梯度蒙特卡罗方差减小理论

本文研究了针对 Wasserstein 距离的多种变量减少方法（包括 SAGA Langevin 扩散、SVRG Langevin 扩散和控制变量欠阻尼 Langevin 扩散）的收敛性保证，同时对后验分布进行了一致的假设：光滑、强凸和 Hessian Lipschitz。通过一种新的证明技术，结合了有限和最优化与抽样方法分析的思想，我们得到了尖锐的理论上界，可以确定每种方法比其他方法更好的兴趣范围，并通过对真实世界和合成数据集的实验验证了我们的理论。

Feb, 2018

随机近端点算法的方差降低技术

在有限和求和最小化的背景下，方差缩减技术被广泛应用于改进现有随机梯度方法的性能，本研究首次提出了针对随机近端点算法的方差缩减技术研究，介绍了针对平滑凸函数的 SVRG、SAGA 和其变种的随机近端版本，并且提供了迭代和目标函数值的多个收敛结果，特别对于满足 Polyak-Lojasiewicz 条件的情况下，我们获得了迭代和函数值的线性收敛速度，数值实验结果表明相对于梯度方法来说，近端方差缩减方法在选择步长方面具有更好的稳定性。

Aug, 2023

一个简单的随机方差减少算法，具有快速收敛速率

本篇论文介绍了一种简单的随机方差减小 (MiG) 算法及其在强凸和非强凸问题中最佳的收敛速率，并在稀疏和异步情况下介绍了其有效的变体并在这些情况下理论化分析其收敛速率。最后，我们进行了大量的实验，如逻辑回归等，以证明在串行和异步设置中的实际改进。

Jun, 2018

针对复合凸光滑优化的随机梯度方法统一分析

本文为最小化平滑和凸损失加上凸正则化的随机梯度算法提供了一致的收敛性分析定理，并探讨了特定算法的最优小批量大小。

Jun, 2020

随机梯度下降及其异步变体中的方差降低

该研究探讨了基于方差缩减的优化算法，尤其是异步版本的 SVRG 和 SAGA 在机器学习中的应用和实验表现。研究结果表明，该方法在稀疏设置下实现了近线性加速。

Jun, 2015

随机梯度下降的统一理论：方差减少，采样，量化和坐标下降

本文提出了一种统一分析的变体的近端随机梯度下降法，包括了未进行方差缩减、重要性抽样、小批量抽样、量化、坐标子采样等方法，同时获得了近端随机梯度下降法和随机化坐标下降法、方差缩减和非方差缩减的统一理论，提出了五种新变体的近端随机梯度下降法，并通过数值实验证明了其性质。