BriefGPT.xyz
Jan, 2024
凸SGD: 泛化无需提前停止
Convex SGD: Generalization Without Early Stopping
HTML
PDF
Julien Hendrickx, Alex Olshevsky
TL;DR
我们研究了在紧致集合上的光滑凸函数中使用随机梯度下降的泛化误差，并展示了当迭代次数T和数据集大小n以任意速率趋近于零时，我们第一次得到了一个消失的泛化误差界，该界与步长 αt=1/√t 成比例，泛化能力不需要强凸性。
Abstract
We consider the
generalization error
associated with
stochastic gradient descent
on a
smooth convex function
over a
→