Mar, 2016

非凸优化的随机方差缩减

TL;DR本研究分析了随机变量缩减梯度(SVRG)方法在非凸有限和问题中的应用,证明了其比随机梯度下降(SGD)和梯度下降(GD)更快收敛于固定点,并分析了一类SVRG在解决非凸问题上的线性收敛,同时研究了mini-batch变体的SVRG在并行设置中加速的外延。