BriefGPT.xyz
Ask
alpha
关键词
stochastic gradient descent with momentum
搜索结果 - 2
Adam 在非均匀平滑性条件下的收敛性:从 SGDM 到更进一步的分离性
本文旨在清楚地区分随机梯度下降法和带动量的 Adam 算法在收敛速度方面的差异。我们证明了在非均匀有界平滑性条件下,Adam 算法相对于随机梯度下降法具有更快的收敛速度。我们的发现表明:(1)在确定性环境中,Adam 算法可以达到确定性一阶
→
PDF
3 months ago
平均加速随机梯度下降算法:有限样本速率和渐近正态性
本研究分析了随机梯度下降与动量法在强凸设置下的有限样本收敛速度,并证明了 Polyak-averaging 版本的 SGDM 估算器的渐近正态性以及其与平均 SGD 的渐近等价性。
PDF
a year ago
Prev
Next