May, 2019

PowerSGD: 分布式优化中的实用低秩梯度压缩

PDF
TL;DR本文研究了梯度压缩方法以缓解数据并行分布式优化中的通信瓶颈，提出了一种基于幂迭代的新型低秩梯度压缩器，在快速压缩梯度、高效聚合压缩梯度并且在测试性能上与随机梯度下降（SGD）相当的情况下实现了持续的加速，该算法是唯一评估的方法，与具有优化的通信后端的常规 SGD 进行基准测试时实现了一致的挂钟加速，并且在常见数据集上展示了卷积网络以及 LSTM 的训练时间缩短。
gradient compressioncommunication bottlenecklow-rank gradient compressorall-reducetest performance
发现论文，激发创造
  • PowerGossip: 分散式深度學習中实用的低秩通信压缩

    介绍了一种使用低秩线性压缩器直接压缩相邻工作器之间的模型差异的简单算法，在分布式机器学习训练中具有实际应用价值，无需额外的超参数，收敛速度比之前的方法快，并且在一系列深度学习基准测试中的表现与经过调优的最先进压缩算法相当。

    Aug, 2020

  • 分布式深度学习梯度压缩的评估与优化

    本研究提出了一种名为 ACP-SGD 的梯度压缩方法，可以加速分布式训练并具有三种甚至更优秀的系统优化技术，与 S-SGD 相比，优化后的 ACP-SGD 在减少压缩和通信开支的同时，能够实现相似的模型准确性。

    Jun, 2023

  • 分布式训练系统中梯度压缩的效用

    为了解决同步数据并行训练中的通信瓶颈，本研究评估了梯度压缩方法的有效性，并将它们的可扩展性与优化后的同步数据并行 SGD 实现进行了比较。分析发现，仅有 6 种情况下，梯度压缩方法提供了速度优势。本研究提出了一种性能模型，用于确定在各种系统设置中梯度压缩的益处，并提出了一些理想的梯度压缩方法的性质列表，以获得有意义的综合优势。

    Feb, 2021

  • 深度梯度压缩：降低分布式训练的通信带宽

    本文提出深度梯度压缩 (DGC)，通过动量修正、局部梯度截断、动量因子掩模和预热训练，使得分布式 SGD 中 99.9% 的梯度交换变得不重要，从而大大减少通信带宽需求，有效保持模型准确率，支持在 1Gbps 以太网和移动设备上进行大规模分布式训练。

    Dec, 2017

  • 分布式优化的无偏单尺度和多尺度量化器

    本文提出了一组全局归约兼容的梯度压缩方案，通过压缩梯度实现降低通信开销的目的，并取得比当前深度学习框架提供的方法更好的表现效果。

    Sep, 2021

  • QSGD: 通过梯度量化和编码实现通信高效的 SGD

    提出了一种名为 Quantized SGD 的压缩梯度下降的算法，使用该算法可以在降低通信代价的同时保证收敛，且在图像分类和自动语音识别等多个实验中表现优异。

    Oct, 2016

  • 扁平化一比特随机梯度下降：受控方差的压缩分布式优化

    我们提出了一种在参数服务器框架中实现梯度压缩的分布式随机梯度下降（SGD）的新算法。我们的梯度压缩技术名为压平一位随机梯度下降（FO-SGD），它依赖于两个简单的算法思想：（i）利用抖动技术的一位量化过程，和（ii）在量化之前使用随机快速 Walsh-Hadamard 变换来压平随机梯度。因此，在该方案中，真实梯度的近似是有偏的，但它避免了常见的算法问题，如在一位压缩制度下方差激增、在梯度稀疏情况下性能恶化和对随机梯度分布的限制性假设。实际上，我们证明了在温和条件下类似于 SGD 的收敛性保证。该压缩技术可在工作机 - 服务器通信的双向上使用，因此支持具有完整通信压缩的分布式优化。

    May, 2024

  • 超越吞吐量和压缩比：迈向梯度压缩的高端到端效益

    梯度聚合、分布式机器学习、梯度压缩、评估方法和系统性能。

    Jul, 2024

  • LASER: 线性压缩在无线分布式优化中的应用

    在分布式优化中，数据并行 SGD 是事实上的算法，但是通信瓶颈是一个持久性问题。本文介绍了 LASER 算法，它利用梯度的低秩结构，在噪声通道上高效传输，并在实际任务中相比基准表现更好。

    Oct, 2023

  • 压缩梯度的分布式学习

    该论文提出了一种针对大规模机器学习的分布式梯度方法的统一分析框架，通过非渐进界限来推导了几种优化算法的收敛速率和信息交换，并得到了步长的显式表达式，表征了异步度和压缩精度如何影响迭代和通信复杂性保证，数值结果证实了限制信息交换下不同梯度压缩算法的收敛性能，以及快速收敛确实是可能的。

    Jun, 2018