本文提出深度梯度压缩 (DGC)，通过动量修正、局部梯度截断、动量因子掩模和预热训练，使得分布式 SGD 中 99.9% 的梯度交换变得不重要，从而大大减少通信带宽需求，有效保持模型准确率，支持在 1Gbps 以太网和移动设备上进行大规模分布式训练。

Dec, 2017

提出了一种基于 Nesterov 的动量的分布式压缩的 SGD 方法，通过两种方式压缩梯度并将梯度分块，每个梯度块都以 1 位格式进行压缩和传输，并实现了近 32 倍的通信降低，实验表明该方法与精度相同的动量 SGD 收敛速度相同，并在分布式 ResNet 训练中达到与全精度梯度动量 SGD 相同的测试精度，而时间缩短了 46％。

May, 2019

本文研究了分布式优化方法在深度学习中的应用，发现分布式动量随机梯度下降在性能、通讯效率方面存在一定优势，并证明其拥有与分布式随机梯度下降相同的线性加速性质。

May, 2019

在移动环境中，分布式机器学习面临着严重的通信瓶颈问题。梯度压缩已成为解决此问题的有效方法，在带宽有限和流量计费等环境中可以提供显著的好处。然而，在非 IID 环境中，由于一种适用于所有数据的压缩方法，它们遭遇到严重的性能下降。为具有不同数据分布和数据量的工作节点分配不同的压缩率因此是一个有前景的解决方案。本研究介绍了一种使用非均匀压缩的分布式 SGD 分析方法，揭示了收敛速率（指实现某个准确度所需的迭代次数）受应用于具有不同数据量的节点的压缩率的影响。因此，我们将相对压缩率分配作为一个 $n$ 个变量卡方非线性优化问题进行建模，并在通信开销有限的约束下进行求解。我们提出了 DAGC-R 方法，将具有较大数据量的节点分配保守的压缩率。鉴于移动设备的计算能力有限，我们还提出了 DAGC-A 方法，在非均匀数据分布的场景中具有较低的计算需求，并提高了绝对梯度压缩器的鲁棒性。实验证明，DAGC-A 和 DAGC-R 在处理高度不平衡的数据量分布和受限通信时能够获得更好的性能。

Nov, 2023

对于分布式算法，通过对随机梯度下降（SGD）的压缩（如 top-k 或 random-k）等技术进行分析，发现它在进行误差补偿的情况下，能够实现与传统 SGD 相同的收敛速度，降低数据通信量达到更好的分布式可扩展性。

Sep, 2018

本文提出了一个基于动量优化（momentum-SGD-based optimization）的优化方法，用于压缩 DNN 模型，从而消除冗余参数，减少网络的复杂度。该方法采用全局压缩策略来自动找到层次的稀疏率，经过优化后能够无需耗费时间进行重训练的过程，具有更好的压缩效果和训练能力。

Sep, 2019

本研究提出了一种名为 ACP-SGD 的梯度压缩方法，可以加速分布式训练并具有三种甚至更优秀的系统优化技术，与 S-SGD 相比，优化后的 ACP-SGD 在减少压缩和通信开支的同时，能够实现相似的模型准确性。

Jun, 2023

为了解决同步数据并行训练中的通信瓶颈，本研究评估了梯度压缩方法的有效性，并将它们的可扩展性与优化后的同步数据并行 SGD 实现进行了比较。分析发现，仅有 6 种情况下，梯度压缩方法提供了速度优势。本研究提出了一种性能模型，用于确定在各种系统设置中梯度压缩的益处，并提出了一些理想的梯度压缩方法的性质列表，以获得有意义的综合优势。

Feb, 2021

本文介绍了一种新的梯度编码（GC）方案，结合多消息通信（MMC）和聚类，以减少因服务器慢导致的迭代时间延长问题，其能有效提高平均完成时间并降低通信负荷。

Mar, 2019

该论文提出了一种使用低密度生成矩阵代码的分布式随机梯度下降方案，通过该方案可以在低计算成本下得到高质量的无偏梯度估计，进而改善整体性能。

Jan, 2019