Sep, 2016
少于一次迭代：随机控制的随机梯度下降法
Less than a Single Pass: Stochastically Controlled Stochastic Gradient
Method
TL;DR研究表明，我们开发并分析了一种基于梯度的优化过程，我们称之为随机控制随机梯度（SCSG）。作为SVRG算法集合中的一员，SCSG利用了两个尺度上的梯度估计，在快速尺度上的更新次数受到几何随机变量的控制。与大多数现有算法不同，SCSG的计算成本和通信成本不一定与样本大小n成线性比例关系；实际上，当目标精度较低时，这些成本与n无关。对真实数据集的实验评估确认SCSG的有效性。