ICLROct, 2019

SlowMo: 用缓慢动量提升通信高效分布式 SGD

PDF
TL;DR该论文提出了一种基于 SlowMo 的分布式优化方法，它采取了一种新的策略来减少通信开销，该方法相对于传统方法在优化和一般化性能上都有所提高，并给出了收敛保证。
distributed optimizationslowmobmufmachine learningconvergence guarantees
发现论文，激发创造
  • 分布式非凸优化中通信高效动量随机梯度下降的线性加速分析

    本文研究了分布式优化方法在深度学习中的应用，发现分布式动量随机梯度下降在性能、通讯效率方面存在一定优势，并证明其拥有与分布式随机梯度下降相同的线性加速性质。

    May, 2019

  • MoMo: 动量模型适应学习率

    通过使用新的自适应学习率，开发了带有动量方法的 MoMo and MoMo-Adam，并增强了模型通过使用批次损失和梯度来建立模型和较低下限估计的模型，实现迭代优化影像分类模型，相较于 SGDM 和 Adam，提高了准确性和鲁棒性。

    May, 2023

  • 分布式动量算法在拜占庭容错学习中的应用

    本研究在分布式计算中证明了将 Momentum 方法实现在工作节点上，有利于提高抗拒绝服务攻击的聚合规则及提高鲁棒性的 SGD 分布式训练。

    Feb, 2020

  • 具有误差反馈的通信高效分布式块动量 SGD

    提出了一种基于 Nesterov 的动量的分布式压缩的 SGD 方法，通过两种方式压缩梯度并将梯度分块，每个梯度块都以 1 位格式进行压缩和传输，并实现了近 32 倍的通信降低，实验表明该方法与精度相同的动量 SGD 收敛速度相同，并在分布式 ResNet 训练中达到与全精度梯度动量 SGD 相同的测试精度，而时间缩短了 46％。

    May, 2019

  • 具有压缩和动量跟踪的近最优分散优化

    MoTEF 是一种将通信压缩与动量跟踪和误差反馈相结合的新方法，它在任意数据异质性下取得了显著优于现有方法的实际优越性。

    May, 2024

  • 在分布式异步环境下调控动量

    提出了一种名为 DANA 的技术，旨在解决分布式异步训练的梯度走样问题，可以加速深度神经网络的训练过程且不影响最终精度。该方法在 CIFAR 和 ImageNet 数据集上表现出比现有方法更好的性能。

    Jul, 2019

  • 基于偏差梯度估计的分布式动量方法

    通过对分布式动量法中的有偏梯度估计建立非渐近收敛界限，并且在元学习和压缩梯度等特殊情况下证明动量法在训练深度神经网络中比传统有偏梯度下降方法有更快的收敛性能。

    Feb, 2024

  • 通过减少查询次数改进随机凸优化的本地 SGD：SLowcal-SGD

    本文研究分布式学习场景中，M 台机器与参数服务器进行交互，以最小化公共目标函数。我们专注于异构情况，其中不同的机器可能从不同的数据分布中获取样本，设计出第一个本地更新方法，可以证明优于两种最突出的分布式基线：Minibatch-SGD 和 Local-SGD。我们的方法核心是缓慢的查询技术，我们将其定制为分布式环境，从而更好地缓解本地更新所引起的偏差。

    Apr, 2023

  • 使用动量加速共识的去中心化深度学习

    本文研究了分布式数据集下的分布式深度学习中的通信拓扑问题，提出一个基于梯度优化的 Heavy-ball 加速策略和共识协议的无中心化方法，并理论和经验上证明，在各种通信拓扑下都取得了更好的效果。

    Oct, 2020

  • 动量可证明地改善误差反馈！

    本研究中我们提出的基于 Polyak 动量的 EF21-SGDM 算法在非凸随机优化中减少了之前 EF 算法中大批量的限制，同时后续提出的双动量版本进一步减少了计算复杂度。该算法不需要其他假设，并在理论证明上具有创新意义。

    May, 2023