BriefGPT.xyz
Mar, 2017
随机梯度下降的数据相关稳定性
Data-Dependent Stability of Stochastic Gradient Descent
HTML
PDF
Ilja Kuzborskij, Christoph Lampert
TL;DR
我们为随机梯度下降（SGD）建立了数据相关的算法稳定性概念，并利用它来开发新的泛化界限；我们的结果表明，在凸和非凸问题中，预筛选初始化是稳定SGD的一种简单数据驱动策略，并允许我们展示出乐观的泛化界限。
Abstract
We establish a data-dependent notion of
algorithmic stability
for
stochastic gradient descent
(SGD) and employ it to develop novel
generalization
→