Feb, 2018

非凸优化中动量 SGD 的扩散近似理论

PDF
TL;DR本文通过对非凸优化问题的扩散逼近，分析了 Momentum 随机梯度下降算法的算法行为，发现该算法对于强鞍点的逃逸具有帮助，但在优化器的周围区域内妨碍了收敛（未进行步长退火或动量退火），本文的理论发现部分验证了 MSGD 在训练深度神经网络中的实证成功。
发现论文，激发创造
  • 非凸随机梯度下降的扩散逼近

    本研究从扰动动力学系统的角度研究了 SGD 优化算法在非凸优化问题中的应用，发现扰动过程可以弱化地近似 SGD 算法，并且批量大小对于深度神经网络具有明显影响，小批量有助于 SGD 算法避免不稳定驻点和锐利极小值，并且我们的理论表明，为了更好的泛化能力，应在后期增加批量大小以使 SGD 陷入平坦的极小值点。

    May, 2017

  • 随机动量法快速逃脱鞍点

    本研究探讨了随机动量梯度下降（stochastic momentum）算法在深度神经网络训练中的作用，提出了其改进了随机梯度下降算法以更快地逃离鞍点并找到更快的二阶稳定点的结论。理论分析表明，$eta$ 应该接近 1，这与实验结果一致。

    Jun, 2021

  • 关于带有噪声的动量随机梯度下降法在机器学习中的收敛速率

    本文研究了非凸优化中动量随机梯度下降 (MSGD) 算法的连续性版本，并证明了在目标函数满足 Lipschitz 连续性和 Polyak-Lojasiewicz 不等式的条件下，MSGD 算法的目标函数极限收敛指数级收敛，同时在给定摩擦参数的情况下，MSGD 过程几乎必定收敛。

    Feb, 2023

  • 随机梯度下降与动量的改进分析

    本文介绍了 SGD 与 momentum (SGDM) 对于光滑目标在强凸和非凸背景下的收敛速度，并确证了多阶段策略对于 SGDM 的好处，并通过数值实验验证了理论结论。

    Jul, 2020

  • 自适应带动量的 SGD 高概率分析

    本文对机器学习应用中广泛使用的随机梯度下降及其变种算法在非凸优化问题中的收敛性做了一系列的理论分析，证明了在弱假设条件下，Delayed AdaGrad with momentum 算法可高概率收敛于全局最优解。

    Jul, 2020

  • 非凸随机优化中动量与异步加速权衡的研究

    本文通过对简单但非平凡的非凸问题 - 流式 PCA 的分析，建立了异步动量随机梯度下降算法 (Async-MSGD) 在流式 PCA 中渐进收敛速率的扩散近似，结果表明异步和动量之间存在根本的权衡：为了通过异步获取收敛和加速，我们必须降低动量 (与 Sync-MSGD 相比)，这是对异步 - MSGD 在分布式非凸随机优化中理解的第一次理论尝试。

    Jun, 2018

  • 机器学习的非凸优化：梯度、随机性和鞍点

    本文研究梯度下降和随机梯度下降等算法在机器学习中的应用，分析了这些算法在非凸优化问题中收敛到驻点的情况，提出了变形的算法可以更高效地避免出现维数灾难，从而沟通了理论和实践。

    Feb, 2019

  • 用于凸优化的 Shuffling Momentum Gradient 算法

    本文通过对分类的动量渐变法的分析，对有限和强凸优化问题进行了研究，并取得了与现有文献中最好成绩相匹配的结果。

    Mar, 2024

  • 非光滑非凸优化中的随机放缩和动量

    通过在每个时间点对更新进行指数分布随机标量缩放的方式，我们提出的方法对于高度不规则的、非凸非光滑的损失函数在优化神经网络训练中表现出最优的收敛保证。这个结果是通过将在线凸优化算法转化为非凸优化算法的一般框架自然得出的。

    May, 2024

  • 小学习率随机梯度下降的边际动量价值

    这篇论文研究了动量在随机优化中的作用，通过理论分析和实验证明，在学习率较小且梯度噪声是不稳定的主要来源时，动量对于优化和泛化的效果有限。

    Jul, 2023