Feb, 2021

分布式训练系统中梯度压缩的效用

HTML
PDF
TL;DR为了解决同步数据并行训练中的通信瓶颈，本研究评估了梯度压缩方法的有效性，并将它们的可扩展性与优化后的同步数据并行 SGD 实现进行了比较。分析发现，仅有 6 种情况下，梯度压缩方法提供了速度优势。本研究提出了一种性能模型，用于确定在各种系统设置中梯度压缩的益处，并提出了一些理想的梯度压缩方法的性质列表，以获得有意义的综合优势。
发现论文，激发创造
  • 深度梯度压缩：降低分布式训练的通信带宽

    本文提出深度梯度压缩(DGC)，通过动量修正、局部梯度截断、动量因子掩模和预热训练，使得分布式SGD中99.9%的梯度交换变得不重要，从而大大减少通信带宽需求，有效保持模型准确率，支持在1Gbps以太网和移动设备上进行大规模分布式训练。

    Dec, 2017

  • 基于方差的梯度压缩用于高效的分布式深度学习

    本文提出了一种用于降低分布式深度学习通信开销的方法，通过延迟梯度更新以使得梯度可以在计算出高幅度、低方差的梯度后进行。在实验中，我们证明了该方法能够在保持模型准确性的同时实现非常高的压缩比，并分析了使用计算模型和通信模型的效率，提供了该方法能够实现在许多场景下使用基础设施的证据。

    Feb, 2018

  • PowerSGD: 分布式优化中的实用低秩梯度压缩

    本文研究了梯度压缩方法以缓解数据并行分布式优化中的通信瓶颈，提出了一种基于幂迭代的新型低秩梯度压缩器，在快速压缩梯度、高效聚合压缩梯度并且在测试性能上与随机梯度下降（SGD）相当的情况下实现了持续的加速，该算法是唯一评估的方法，与具有优化的通信后端的常规SGD进行基准测试时实现了一致的挂钟加速，并且在常见数据集上展示了卷积网络以及LSTM的训练时间缩短。

    May, 2019

  • 分布式深度学习压缩通信的理论分析与实际实现之间的差异

    通过实验和理论分析，本文表明在深度神经网络的分布式数据并行训练中，面向单个层的压缩比面向整个模型的压缩方式更好，但实验也显示，具体训练模型和压缩率都可能导致实际收敛率的变化。因此，本文建议深度学习框架应支持面向单个层和整个模型的压缩方式。

    Nov, 2019

  • 关于分布式学习的偏压压缩研究

    研究表明，用于分布式学习的偏置压缩算子可以显著提高通信效率并达到线性收敛率，其性能优于其无偏压缩器。它们可用于随机梯度下降和分布式随机梯度下降，并且存在许多具有良好理论保证和实际性能的新偏置压缩器可供选择。

    Feb, 2020

  • 关于异构数据分布式优化的通信压缩

    本文研究比较了两种标准的数据压缩方法：分布式量化SGD和分布式SGD反馈错误的压缩机在非独立同分布数据集的训练效果，结果表明，后者比前者更适合非独立同分布数据，但两种方法都会因为数据分布的不均匀而变慢。文中还提出一种对于强凸问题有效的方法和适用于线性压缩器的更通用的方法。

    Sep, 2020

  • 分布式训练系统中高效的基于统计的梯度压缩技术

    本文提出了一种使用稀疏诱导分布对数据进行压缩的算法（SIDCo），可以在降低模型质量和额外计算量的情况下，提高深度神经网络的分布式训练效率。在基准测试中，该算法相对于无压缩基线、Topk和DGC压缩器，可以将训练时间提高最多41.7％，7.6％和1.9％。

    Jan, 2021

  • 分布式优化的无偏单尺度和多尺度量化器

    本文提出了一组全局归约兼容的梯度压缩方案，通过压缩梯度实现降低通信开销的目的，并取得比当前深度学习框架提供的方法更好的表现效果。

    Sep, 2021

  • 分布式深度学习梯度压缩的评估与优化

    本研究提出了一种名为ACP-SGD的梯度压缩方法，可以加速分布式训练并具有三种甚至更优秀的系统优化技术，与S-SGD相比，优化后的ACP-SGD在减少压缩和通信开支的同时，能够实现相似的模型准确性。

    Jun, 2023

  • 超越吞吐量和压缩比：迈向梯度压缩的高端到端效益

    梯度聚合、分布式机器学习、梯度压缩、评估方法和系统性能。

    Jul, 2024