ICLRJun, 2022

通过生成函数看小批量随机梯度下降法：收敛条件、相变、从负动量中受益

PDF
TL;DR本文提出了一个新的分析框架来研究 mini-batch SGD 对于具有常数学习率、动量和批次大小的线性模型的噪声平均属性，探讨了问题的谱分布对算法的影响，并验证了使用负动量可以实现最优收敛速率的理论预测。
发现论文，激发创造
  • 平均加速随机梯度下降算法：有限样本速率和渐近正态性

    本研究分析了随机梯度下降与动量法在强凸设置下的有限样本收敛速度，并证明了 Polyak-averaging 版本的 SGDM 估算器的渐近正态性以及其与平均 SGD 的渐近等价性。

    May, 2023

  • 动量算法改进归一化随机梯度下降

    本研究提出使用 momentum 相对于 normalized SGD 来解决 non-convex issues，若 objectives 带有有限的第二导数，采用带的动量公式提高了收敛速度，且适用于大规模任务如 ResNet-50 和 BERT pretraining。

    Feb, 2020

  • 关于带有噪声的动量随机梯度下降法在机器学习中的收敛速率

    本文研究了非凸优化中动量随机梯度下降 (MSGD) 算法的连续性版本，并证明了在目标函数满足 Lipschitz 连续性和 Polyak-Lojasiewicz 不等式的条件下，MSGD 算法的目标函数极限收敛指数级收敛，同时在给定摩擦参数的情况下，MSGD 过程几乎必定收敛。

    Feb, 2023

  • 随机梯度下降与动量的改进分析

    本文介绍了 SGD 与 momentum (SGDM) 对于光滑目标在强凸和非凸背景下的收敛速度，并确证了多阶段策略对于 SGDM 的好处，并通过数值实验验证了理论结论。

    Jul, 2020

  • 小学习率随机梯度下降的边际动量价值

    这篇论文研究了动量在随机优化中的作用，通过理论分析和实验证明，在学习率较小且梯度噪声是不稳定的主要来源时，动量对于优化和泛化的效果有限。

    Jul, 2023

  • 有限学习率随机梯度下降的噪声与波动

    本文探究了随机梯度下降（SGD）及其变种在非消失学习率模式下的基本性质，特别是推导了离散时间 SGD 在二次损失函数中的稳态分布，讨论了其影响，并考虑了 SGD 变体的逼近误差、小批量噪音效应、最优贝叶斯推断、从尖锐最小值的逃逸率和几种包括阻尼牛顿法、自然梯度下降和 Adam 的二阶方法的稳态协方差等应用。

    Dec, 2020

  • 自适应带动量的 SGD 高概率分析

    本文对机器学习应用中广泛使用的随机梯度下降及其变种算法在非凸优化问题中的收敛性做了一系列的理论分析，证明了在弱假设条件下，Delayed AdaGrad with momentum 算法可高概率收敛于全局最优解。

    Jul, 2020

  • $μ^2$-SGD: 双动量机制实现稳定随机优化

    研究通过基于动量的两种近期机制，结合两者来得出新的梯度估计，设计基于 SGD 的算法和加速版本的算法，并展示这些新方法对学习率选择的鲁棒性以及在无噪音和有噪音情况下具有相同的最佳收敛速度。

    Apr, 2023

  • 基于得分的生成模型与自适应动量

    通过引入适应性动量采样，有效加速了转换过程，同时在小样本步骤中产生更加逼真的图像 / 图表，并在图像和图表生成任务中获得了有竞争力的评分。

    May, 2024

  • 探索动量如何提高深度学习的泛化能力

    本文考察了随机梯度下降（SGD）算法过程中的冲量（momentum）对深度学习模型的收敛和泛化的影响，提出了冲量在提高泛化能力方面的新视角，并在一个一层卷积神经网络的分类问题中得出，使用加冲量的梯度下降（GD+M）算法可以有效提高模型的泛化能力。

    Jul, 2022