BriefGPT.xyz
Jul, 2023
小学习率随机梯度下降的边际动量价值
The Marginal Value of Momentum for Small Learning Rate SGD
HTML
PDF
Runzhe Wang, Sadhika Malladi, Tianhao Wang, Kaifeng Lyu, Zhiyuan Li
TL;DR
这篇论文研究了动量在随机优化中的作用，通过理论分析和实验证明，在学习率较小且梯度噪声是不稳定的主要来源时，动量对于优化和泛化的效果有限。
Abstract
momentum
is known to accelerate the
convergence
of
gradient descent
in strongly convex settings without stochastic gradient noise. In
→