Jun, 2020
非参数方法下随机梯度下降在无噪声线性模型中的紧致收敛速率
Tight Nonparametric Convergence Rates for Stochastic Gradient Descent under the Noiseless Linear Model
Raphaël Berthier, Francis Bach, Pierre Gaillard
TL;DR本文探究噪声线性模型下单次训练中的随机梯度下降算法,证明了其收敛性和泛化误差的多项式收敛率,解释了结果在再生核希尔伯特空间框架下的意义,同时将分析应用于超出监督学习的场景。