提出了一种基于 Nesterov 的动量的分布式压缩的 SGD 方法，通过两种方式压缩梯度并将梯度分块，每个梯度块都以 1 位格式进行压缩和传输，并实现了近 32 倍的通信降低，实验表明该方法与精度相同的动量 SGD 收敛速度相同，并在分布式 ResNet 训练中达到与全精度梯度动量 SGD 相同的测试精度，而时间缩短了 46％。
May, 2019
本文提出了一种统一的分析分布式 SGD 各种变体的方法，涵盖了不同的量化 SGD、误差补偿 SGD 和延迟更新 SGD 变体，并通过一个定理推导了其所有方法的复杂度结果。在此基础上，我们开发了 16 种新的方法，其中包括第一种基于误差反馈和梯度差分量化的 EC-SGD-DIANA 方法和第一种具有误差反馈和方差缩减的分布式随机方法 EC-LSVRG-DIANA。
Oct, 2020
本文研究在分布式学习场景下，提出了一种具有容错性的压缩算法，通过对工作节点和参数服务器上的数据进行错误补偿以提高其效率和收敛率，并进行了理论和实证研究。
提出了一种名为 Quantized SGD 的压缩梯度下降的算法，使用该算法可以在降低通信代价的同时保证收敛，且在图像分类和自动语音识别等多个实验中表现优异。
Oct, 2016
通过双向压缩和精心设计的补偿方法，本文提出了一种名为 LIEC-SGD 的优化算法，旨在减少分布式学习中沉重的通信开销，并在理论和实验上证明该算法在收敛速度和通信成本上优于现有方法。
Feb, 2024
本篇论文提出了一种新的 SGD 变体算法，降低了通信开销及提高自适应学习率，经实验证明，该算法显著降低了通信开销，进而缩短了 1B 字数据集的训练时间 30%。
Nov, 2019
该论文提出了一种去除了分布式训练中代理数受 2 的整数限制的方法，称为 DSGD-CECA，它使用交流拓扑和八卦权矩阵来实现通信，达到了与当前最先进方法相同的效率，实现了任意数量的代理，并减少了每次迭代的通信负载。
Jun, 2023
本文研究比较了两种标准的数据压缩方法：分布式量化 SGD 和分布式 SGD 反馈错误的压缩机在非独立同分布数据集的训练效果，结果表明，后者比前者更适合非独立同分布数据，但两种方法都会因为数据分布的不均匀而变慢。文中还提出一种对于强凸问题有效的方法和适用于线性压缩器的更通用的方法。
Sep, 2020
本文提出了误差补偿量化随机梯度下降算法以优化数据分布式学习中的性能瓶颈，并对其收敛性行为进行了理论分析，同时通过实验证明了该算法在梯度压缩方面具有较大优势。
Jun, 2018
本研究提出了 DORE 算法，通过二次残差压缩的方式，有效减少了机器学习模型在并行运算中的通信开销，提高了算法的收敛速度和通信效率。实验结果表明，DORE 算法在通信效率方面表现出色，同时保持了和先进的基准算法相当的模型准确性和收敛速度。
Oct, 2019