Jun, 2020
带洗牌的 SGD: 无需分量凸性和大的 epoch 要求的最优速率
SGD with shuffling: optimal rates without component convexity and large epoch requirements
Kwangjun Ahn, Chulhee Yun, Suvrit Sra
TL;DR本文研究了无替换 SGD 算法在有限和优化问题上的应用及其两种不同的指标洗牌方式(RandomShuffle 和 SingleShuffle)。作者们建立了这些算法的最小二次理论下的优化收敛率。此外,作者们进一步应用了各自分量的凸性来缩小 RandomShuffle 的宽松收敛结果,并减少了所有先前艺术品中共有的缺点。