ICMLMar, 2021

正负动量：利用随机梯度噪声来改善泛化

PDF
TL;DR提出了一种 Positive-Negative Momentum (PNM) 方法来模拟随机梯度噪声 (SGN) 并代替传统的动量方法，通过将两个近似独立的动量项的差异调整来显式控制 SGN 的大小，理论上证明了 PNM 相比于 SGD 的收敛保证和泛化优势，并在将 PNM 应用于 SGD 和 Adam 两个传统优化器后，实验证明了 PNM 优化器的巨大优势。
stochastic gradient noiseimplicit regularizationdeep learningoptimizationgeneralization
发现论文，激发创造
  • 快速随机策略梯度：负动量用于强化学习

    从利用动量的角度开发了一种称为 SPG-NM 的快速 SPG 算法，将一种新型的负动量技术应用于经典的 SPG 算法，其计算复杂度与现代 SPG 类型算法几乎相同，并在两个经典任务中评估了该算法的结果，数值实验在不同设置下对我们的 SPG-NM 算法的稳健性进行了确认。

    May, 2024

  • 探索动量如何提高深度学习的泛化能力

    本文考察了随机梯度下降（SGD）算法过程中的冲量（momentum）对深度学习模型的收敛和泛化的影响，提出了冲量在提高泛化能力方面的新视角，并在一个一层卷积神经网络的分类问题中得出，使用加冲量的梯度下降（GD+M）算法可以有效提高模型的泛化能力。

    Jul, 2022

  • 小学习率随机梯度下降的边际动量价值

    这篇论文研究了动量在随机优化中的作用，通过理论分析和实验证明，在学习率较小且梯度噪声是不稳定的主要来源时，动量对于优化和泛化的效果有限。

    Jul, 2023

  • 随机动量法快速逃脱鞍点

    本研究探讨了随机动量梯度下降（stochastic momentum）算法在深度神经网络训练中的作用，提出了其改进了随机梯度下降算法以更快地逃离鞍点并找到更快的二阶稳定点的结论。理论分析表明，$eta$ 应该接近 1，这与实验结果一致。

    Jun, 2021

  • 随机梯度噪声的非高斯性

    本文研究了神经网络训练中随机梯度噪声向量的分布，发现对于批量大小为 256 或以上的数据集和架构选择，分布最好可以用高斯分布来描述，解释了随机梯度下降在神经网络训练中比梯度下降更具普适性的原因。

    Oct, 2019

  • 基于得分的生成模型与自适应动量

    通过引入适应性动量采样，有效加速了转换过程，同时在小样本步骤中产生更加逼真的图像 / 图表，并在图像和图表生成任务中获得了有竞争力的评分。

    May, 2024

  • 深度学习随机动量方法的统一分析

    本文研究随机动量方法，包含随机梯度法（SG），随机重球方法（SHB）和随机 Nesterov's 加速梯度方法（SNAG）。我们提出了一个框架，统一了这三种方法，并通过一致稳定性方法推导了梯度范数的收敛速率和推导了非凸优化问题。同时，我们也分别分析了这三个方法的收敛率和泛化性能。研究结果表明，动量项可以提高学习模型的稳定性和泛化性能。

    Aug, 2018

  • 动量消减物理信息神经网络中的谱偏差影响

    本文介绍了物理指导神经网络算法在解决涉及偏微分方程的问题方面的应用，重点研究了在随机梯度下降优化算法下演化的神经网络所用的神经切向核，证实该神经核显著减少了谱偏差的影响，并且通过对广泛神经网络的训练，实验结果表明在高频项存在的情况下，宽度合适的神经网络仍可以收敛于理想的解决方案。

    Jun, 2022

  • 通过生成函数看小批量随机梯度下降法：收敛条件、相变、从负动量中受益

    本文提出了一个新的分析框架来研究 mini-batch SGD 对于具有常数学习率、动量和批次大小的线性模型的噪声平均属性，探讨了问题的谱分布对算法的影响，并验证了使用负动量可以实现最优收敛速率的理论预测。

    Jun, 2022

  • 非光滑非凸优化中的随机放缩和动量

    通过在每个时间点对更新进行指数分布随机标量缩放的方式，我们提出的方法对于高度不规则的、非凸非光滑的损失函数在优化神经网络训练中表现出最优的收敛保证。这个结果是通过将在线凸优化算法转化为非凸优化算法的一般框架自然得出的。

    May, 2024