Jun, 2018

非凸随机优化中动量与异步加速权衡的研究

PDF
TL;DR本文通过对简单但非平凡的非凸问题 - 流式 PCA 的分析，建立了异步动量随机梯度下降算法 (Async-MSGD) 在流式 PCA 中渐进收敛速率的扩散近似，结果表明异步和动量之间存在根本的权衡：为了通过异步获取收敛和加速，我们必须降低动量 (与 Sync-MSGD 相比)，这是对异步 - MSGD 在分布式非凸随机优化中理解的第一次理论尝试。
发现论文，激发创造
  • 非凸优化中动量 SGD 的扩散近似理论

    本文通过对非凸优化问题的扩散逼近，分析了 Momentum 随机梯度下降算法的算法行为，发现该算法对于强鞍点的逃逸具有帮助，但在优化器的周围区域内妨碍了收敛（未进行步长退火或动量退火），本文的理论发现部分验证了 MSGD 在训练深度神经网络中的实证成功。

    Feb, 2018

  • 异步孕育势能，应用于深度学习

    本文证明，异步优化算法中添加一类类动量项，可加速训练多层神经网络，对于卷积神经网络，异步度与动量呈直线关系，故在异步执行时，动量调整得当可提升算法效率，反之也可采用相反的动量来改善结果。

    May, 2016

  • 关于带有噪声的动量随机梯度下降法在机器学习中的收敛速率

    本文研究了非凸优化中动量随机梯度下降 (MSGD) 算法的连续性版本，并证明了在目标函数满足 Lipschitz 连续性和 Polyak-Lojasiewicz 不等式的条件下，MSGD 算法的目标函数极限收敛指数级收敛，同时在给定摩擦参数的情况下，MSGD 过程几乎必定收敛。

    Feb, 2023

  • 在分布式异步环境下调控动量

    提出了一种名为 DANA 的技术，旨在解决分布式异步训练的梯度走样问题，可以加速深度神经网络的训练过程且不影响最终精度。该方法在 CIFAR 和 ImageNet 数据集上表现出比现有方法更好的性能。

    Jul, 2019

  • 自适应带动量的 SGD 高概率分析

    本文对机器学习应用中广泛使用的随机梯度下降及其变种算法在非凸优化问题中的收敛性做了一系列的理论分析，证明了在弱假设条件下，Delayed AdaGrad with momentum 算法可高概率收敛于全局最优解。

    Jul, 2020

  • 带动量的随机梯度方法收敛于非光滑非凸优化问题

    本文介绍了一种随机子梯度方法，该方法结合了动量项，能够在一类广泛意义下的非光滑、非凸和受约束的优化问题中建立一个特殊的李亚普诺夫函数，实现快速收敛。

    Feb, 2020

  • 异步共享内存中随机梯度下降算法的收敛性

    本文研究并发训练中 Stochastic Gradient Descent 算法的收敛性，提出了在异步共享内存模型下的新收敛界限，同时指出了最大延迟和算法收敛速度之间的基本权衡关系。

    Mar, 2018

  • 分布式优化加速：基于原始对偶视角的局部步骤

    在分布式机器学习中，有效地进行具有不同数据分布的多个代理的训练面临着重大挑战。本研究解决了分布式优化问题中的集中式和分散式设置，并提出了一种基于原始对偶方法的新方法，即（加速）梯度上升的多随机梯度下降（GA-MSGD），它自然地融合了本地更新，实现了线性收敛，并且几乎达到了最优的通信复杂性。

    Jul, 2024

  • 分布式非凸优化中通信高效动量随机梯度下降的线性加速分析

    本文研究了分布式优化方法在深度学习中的应用，发现分布式动量随机梯度下降在性能、通讯效率方面存在一定优势，并证明其拥有与分布式随机梯度下降相同的线性加速性质。

    May, 2019

  • 非凸学习中无界时延异步随机梯度下降的收敛控制

    研究异步随机梯度下降法在无界梯度延迟的非凸优化问题中的收敛性能，证明了 Async-SGD 和其变体 Async-SGDI 的收敛速度，建立了一个异步随机梯度下降法的充分条件，并将两个梯度延迟模型作为其特殊情况包括在内，得出了一个新的未考虑的延迟模型。

    May, 2018