BriefGPT.xyz
May, 2019
减少方差的随机复合优化的序列估计
Estimate Sequences for Variance-Reduced Stochastic Composite Optimization
HTML
PDF
Andrei Kulunchakov, Julien Mairal
TL;DR
本文提出了一种渐进协同优化梯度算法的统一视角，通过推广Nesterov引入的估计序列概念，覆盖了随机梯度下降法，SAGA和SVRG等方法，并提出了具有同样保证的新的算法，并推导了使这些算法抗击随机噪声的通用策略，最终证明了该视角有助于得到新的加速算法。
Abstract
In this paper, we propose a unified view of
gradient-based algorithms
for
stochastic convex composite optimization
by extending the concept of
es
→