随机梯度下降的统一理论：方差减少，采样，量化和坐标下降

May, 2019

随机梯度下降的统一理论：方差减少，采样，量化和坐标下降

A Unified Theory of SGD: Variance Reduction, Sampling, Quantization and Coordinate Descent

Eduard Gorbunov, Filip Hanzely, Peter Richtárik

TL;DR本文提出了一种统一分析的变体的近端随机梯度下降法，包括了未进行方差缩减、重要性抽样、小批量抽样、量化、坐标子采样等方法，同时获得了近端随机梯度下降法和随机化坐标下降法、方差缩减和非方差缩减的统一理论，提出了五种新变体的近端随机梯度下降法，并通过数值实验证明了其性质。

Abstract

In this paper we introduce a unified analysis of a large family of variants of proximal stochastic gradient descent ({\tt SGD}) which so far have required different intuitions, convergence analyses, have different applications, and which have been developed separately in various commun

发现论文，激发创造

非光滑优化的随机梯度下降：收敛结果与最优平均方案

本文探讨了在没有光滑假设的情况下，以及通过运行平均方案将SGD迭代转换为具有最佳优化精度的解决方案的性能，并证明了对于凸非光滑目标函数，最后一个SGD迭代的次优性的程度随T的轮次按O（log（T）/ sqrt（T））缩放，对于非光滑强凸情况，次优性的程度随T按O（log（T）/ T）缩放。此外，本文提出了一种新的简单平均方案，并提供了一些实验说明。

Dec, 2012

半随机梯度下降方法

本文提出了一种名为S2GD的新方法，为解决优化大量平滑凸损失函数的平均最小化问题，文章指出其期望工作量可以通过几个步骤推导得出。

Dec, 2013

改进的 SVRG 用于非强凸或非凸总和目标

该研究提出了一种名为SVRG的算法，可用于处理强凸目标以外的任务并提供更高效的解决方案，并且该算法在许多著名的实际应用中都具有较好的表现。

Jun, 2015

基于方差减少的随机优化算法在具有有限和结构的无限数据集上的应用

本文提出了针对复合目标强凸的情况下，带有方差约束的随机梯度下降法，其收敛速度优于传统的随机梯度下降法，同时常数因子也更小，只与输入数据的方差有关。

Oct, 2016

VR-SGD: 一种简单的随机方差缩减机器学习方法

本文提出了一种名为VR-SGD的变体随机梯度下降法，其使用平均值和上一个时期的最后迭代作为两个向量，能够直接解决非光滑和/或非强凸问题，并能够使用更大的学习率。此方法在解决各种机器学习问题，如凸和非凸的经验风险最小化以及特征值计算等方面，具有更快的收敛速度。