BriefGPT.xyz
Oct, 2018
ASVRG: 加速近端SVRG
ASVRG: Accelerated Proximal SVRG
HTML
PDF
Fanhua Shang, Licheng Jiao, Kaiwen Zhou, James Cheng, Yan Ren...
TL;DR
本论文提出了一种加速的近端随机方差减少梯度（ASVRG）方法，它具有一种简单而有效的动量加速技巧，并证明在强凸和非强凸目标函数上都可以实现最佳已知的 oracle 复杂度。同时将 ASVRG 扩展到 mini-batch 基础上，并证明了理论结果，表明 ASVRG 的性能与现有的随机方法相当甚至更好。
Abstract
This paper proposes an
accelerated proximal stochastic variance reduced gradient
(ASVRG) method, in which we design a simple and effective
momentum acceleration
trick. Unlike most existing accelerated stochastic
→