Apr, 2024

AdaGossip：分布式深度学习中的自适应共识步长与通信压缩

PDF
TL;DRAdaGossip 是一种新的技术，根据相邻代理之间的压缩模型差异自适应调整共识步长，通过大量实验证明在分布式学习中具有压缩通信时，相比于当前的最先进方法，在测试准确率上实现了卓越的性能（提高了 0-2% 的测试准确率）。
decentralized learningcompressed communicationconsensus step-sizeadagossiptest accuracy
发现论文，激发创造
  • 任意通信压缩下的分散式深度学习

    该论文研究了去中心化训练深度学习模型的关键因素，提出使用通信压缩来解决网络带宽有限的问题，并通过 Choco-SGD 算法实现了高压缩下的快速收敛，同时支持更高压缩比例，实验结果表明在多种应用场景下具有很好的实际性能表现。

    Jul, 2019

  • PowerGossip: 分散式深度學習中实用的低秩通信压缩

    介绍了一种使用低秩线性压缩器直接压缩相邻工作器之间的模型差异的简单算法，在分布式机器学习训练中具有实际应用价值，无需额外的超参数，收敛速度比之前的方法快，并且在一系列深度学习基准测试中的表现与经过调优的最先进压缩算法相当。

    Aug, 2020

  • 去中心化随机优化和 Gossip 算法的压缩通信

    提出了一种基于 gossip 的分散随机优化算法 CHOCO-SGD 和解决平均一致性问题的新型 gossip 算法 CHOCO-GOSSIP，旨在在机器学习任务上实现数据分布和优化，有效降低通信成本并能提高算法效率。

    Feb, 2019

  • Local AdaAlter: 基于自适应学习率的通信高效性随机梯度下降

    本篇论文提出了一种新的 SGD 变体算法，降低了通信开销及提高自适应学习率，经实验证明，该算法显著降低了通信开销，进而缩短了 1B 字数据集的训练时间 30%。

    Nov, 2019

  • 局部更新 SGD 中的最佳错误 - 运行时间平衡的自适应通信策略

    本文介绍 AdaComm，一种自适应通信策略，可以更快地训练深度神经网络，使大规模机器学习训练更 robust 且具有更快的收敛速度。

    Oct, 2018

  • 分布式训练的通信压缩技术

    研究如何将通信压缩和分散化技术相结合，以提高分布式学习系统的鲁棒性。作者提出了一种压缩分散训练的框架，并且提出了两种不同的策略，称为外推压缩和差异压缩。通过分析和验证，该算法显著优于仅分散化和仅量化算法。

    Mar, 2018

  • 深度学习的八卦训练

    本研究旨在解决加速卷积神经网络训练的问题，其中使用了一种适用于随机梯度下降的分布式方法。这种并行优化设置使用多个线程，每个线程在本地变量上应用单独的梯度下降，并提出了一种具有吸取交际算法启发式的共享不同线程信息的新方法，具有良好的一致收敛性和完全异步和分散式的优势，该方法称为 GoSGD。我们在 CIFAR-10 上将此方法与最近的 EASGD 作比较，结果鼓舞人心。

    Nov, 2016

  • 更快的分布式深度神经网络训练：计算和通信解耦合的随机梯度下降

    本文提出了 Computation and Communication Decoupling Stochastic Gradient Descent (CoCoD-SGD) 算法，实现了计算和通信的并行处理，有效减少了通信开销，较传统分布式 SGD 算法具有更高的时间加速度，在 16 个 GPU 上的 ResNet18 和 VGG16 深度神经网络训练表现出 2-3 倍的速度提升。

    Jun, 2019

  • 大步长同步分布式 SGD 的通信权衡

    本文提出了一种名为 local-SGD 的算法，通过逐步同步而非每一步都进行通信提高了通信效率，同时在大步长情况下提供了自适应下限比较。

    Apr, 2019

  • 分散式深度學習共識控制

    本论文研究了分散式深度学习模型的训练，提出了共识距离作为影响中心式和分散式训练效果的关键因素，并在理论和实验上证明了降低共识距离可以提高分散式训练模型的泛化性能。同时，本论文提供了实用的训练指南以缓解训练效果下降。

    Feb, 2021