Oct, 2015
为什么随机重洗超越随机梯度下降
Why Random Reshuffling Beats Stochastic Gradient Descent
Mert Gürbüzbalaban, Asuman Ozdaglar, Pablo Parrilo
TL;DR本文研究了随机重洗方法的收敛速率,表明在特定条件下随机重洗方法通过迭代平均和逐渐缩小的步长可以以概率一的方式在优化目标值的次优性上以 $\Theta (1/k^{2s})$ 的速率收敛,从而改善了 SGD 的 $\Omega (1/k)$ 收敛速率。