adam algorithm | BriefGPT - AI 论文速递

关键词adam algorithm

搜索结果 - 7

Adam 在放宽假设下的随机优化收敛性
在具有潜在无界梯度和仿射方差噪声的非凸光滑场景下，研究了 Adam 算法的理论性质，证明了它能够以高概率在多项式时间复杂度内找到一个稳定点，同时具有较好的自适应性能。
PDF5 months ago
ADAM 算法固定步长的发散：一个（非常）简单的例子
在没有梯度噪声的情况下，构建了一个具有 Lipschitz 连续梯度的非常简单的一维函数，当应用 ADAM 算法以最小化该函数时，始于原点时会发散，无论选择的方法参数如何。
PDFa year ago
Adam 算法在宽松条件下的收敛性
本文提供了自适应矩估计（Adam）算法对于广泛类别的优化目标的收敛性严谨证明，并在更为现实的条件下证明了 Adam 算法可收敛于 ε- 稳定点。同时，我们提出了一种方差抑制的加速梯度复杂度版本的 Adam 算法。
PDFa year ago
大规模机器学习 Adam 不稳定性理论
本文提出了一个关于大型语言模型训练中先前无法解释的发散行为的理论。该理论说明这一现象是优化算法 Adam 的副作用。通过观察该算法的参数更新向量和训练损失方向的相关性，我们得出这一结论，并给出了不同规模语言模型的训练观察结果。
PDFa year ago
基于共轭梯度的 Adam 算法用于随机优化及其在深度学习中的应用
本文提出了一个混合 Adam 和非线性共轭梯度方法的共轭梯度 Adam 算法，并展示其收敛分析。在文本分类和图像分类上的数值实验表明，该算法可以在比现有的自适应随机优化算法更少的时代数内训练深度神经网络模型。
PDF4 years ago
SAdam: 强凸函数的 Adam 变体
本文通过开发 Adam 算法的变种 SAdam, 给出了一个数据相关的 O (log T) 遗憾界，从而肯定了强凸性可以用于进一步提高性能。
PDF5 years ago
ICLRAdam 及其发展的收敛性研究
通过给 Adam 算法加上‘长期记忆’过去梯度的方法，不仅可以解决收敛问题，而且经常提高算法的实验性能。
PDF5 years ago