ICMLJul, 2022

探索动量如何提高深度学习的泛化能力

PDF
TL;DR本文考察了随机梯度下降（SGD）算法过程中的冲量（momentum）对深度学习模型的收敛和泛化的影响，提出了冲量在提高泛化能力方面的新视角，并在一个一层卷积神经网络的分类问题中得出，使用加冲量的梯度下降（GD+M）算法可以有效提高模型的泛化能力。
stochastic gradient descentmomentumgeneralizationdeep learningconvolutional neural network
发现论文，激发创造
  • 小学习率随机梯度下降的边际动量价值

    这篇论文研究了动量在随机优化中的作用，通过理论分析和实验证明，在学习率较小且梯度噪声是不稳定的主要来源时，动量对于优化和泛化的效果有限。

    Jul, 2023

  • SGD 的加速动量：何时及为何加速？—— 一个实证研究

    通过对比带动量的随机梯度下降（SGDM）和不带动量的随机梯度下降（SGD）的表现，发现动量加速与突然的尖峰有关，而动量的作用是防止或推迟尖峰的发生，并揭示了动量、学习率和批次大小之间的相互作用，可以加速 SGDM 的性能。

    Jun, 2023

  • 随机梯度下降与动量的改进分析

    本文介绍了 SGD 与 momentum (SGDM) 对于光滑目标在强凸和非凸背景下的收敛速度，并确证了多阶段策略对于 SGDM 的好处，并通过数值实验验证了理论结论。

    Jul, 2020

  • 随机动量法快速逃脱鞍点

    本研究探讨了随机动量梯度下降（stochastic momentum）算法在深度神经网络训练中的作用，提出了其改进了随机梯度下降算法以更快地逃离鞍点并找到更快的二阶稳定点的结论。理论分析表明，$eta$ 应该接近 1，这与实验结果一致。

    Jun, 2021

  • 平均加速随机梯度下降算法：有限样本速率和渐近正态性

    本研究分析了随机梯度下降与动量法在强凸设置下的有限样本收敛速度，并证明了 Polyak-averaging 版本的 SGDM 估算器的渐近正态性以及其与平均 SGD 的渐近等价性。

    May, 2023

  • 隐式逐步优化中动量在平滑目标函数中的作用

    随机梯度下降 (SGD) 与动量在收敛性和泛化能力方面具有快速收敛和优秀的表现，但缺乏理论解释。本文证明了 SGD 与动量使目标函数平滑化，平滑程度由学习率、批量大小、动量因子、随机梯度的方差和梯度范数的上界决定。这一理论发现揭示了动量为何改善泛化性能，并对包括动量因子在内的超参数的作用提供了新的见解。我们还提出了一种利用 SGD 与动量平滑性质的隐性渐变优化算法，并提供了支持我们断言的实验结果。

    Feb, 2024

  • 自适应带动量的 SGD 高概率分析

    本文对机器学习应用中广泛使用的随机梯度下降及其变种算法在非凸优化问题中的收敛性做了一系列的理论分析，证明了在弱假设条件下，Delayed AdaGrad with momentum 算法可高概率收敛于全局最优解。

    Jul, 2020

  • 正负动量：利用随机梯度噪声来改善泛化

    提出了一种 Positive-Negative Momentum (PNM) 方法来模拟随机梯度噪声 (SGN) 并代替传统的动量方法，通过将两个近似独立的动量项的差异调整来显式控制 SGN 的大小，理论上证明了 PNM 相比于 SGD 的收敛保证和泛化优势，并在将 PNM 应用于 SGD 和 Adam 两个传统优化器后，实验证明了 PNM 优化器的巨大优势。

    Mar, 2021

  • 深度学习随机动量方法的统一分析

    本文研究随机动量方法，包含随机梯度法（SG），随机重球方法（SHB）和随机 Nesterov's 加速梯度方法（SNAG）。我们提出了一个框架，统一了这三种方法，并通过一致稳定性方法推导了梯度范数的收敛速率和推导了非凸优化问题。同时，我们也分别分析了这三个方法的收敛率和泛化性能。研究结果表明，动量项可以提高学习模型的稳定性和泛化性能。

    Aug, 2018

  • 随机梯度方法中动量的作用理解

    该论文通过使用 QHM 的一般公式来对几种流行的算法进行统一分析，涵盖了它们的渐近收敛条件，稳定区域和其稳态分布的性质，通过结合收敛速度和稳态分布结果，得出了设置学习速率和动量参数的实用指南。

    Oct, 2019