Nov, 2018
随机梯度算法的新收敛性特点
New Convergence Aspects of Stochastic Gradient Algorithms
Lam M. Nguyen, Phuong Ha Nguyen, Peter Richtárik, Katya Scheinberg, Martin Takáč...
TL;DR本文对随机梯度下降法(SGD)的收敛性进行了分析,提出了一种新的假设随机梯度较真实梯度的范数更小的分析方法,并在多个情境下证明了 SGD 的收敛性,拓展了当前一类可达到收敛性的学习率。