May, 2016
非光滑非凸优化的快速随机方法
Fast Stochastic Methods for Nonsmooth Nonconvex Optimization
Sashank J. Reddi, Suvrit Sra, Barnabas Poczos, Alex Smola
TL;DR本文研究随机算法优化非凸、非光滑的有限和问题。针对此问题,本文提出快速的随机算法,可获得常数迷你批量的收敛性。本文还使用这些算法的变种,证明了比批量近端梯度下降更快的收敛性,并在非凸、非光滑函数的一个子类中证明全局线性收敛率。