signSGD可通过传输最小批次随机梯度符号来缓解学习分布在多个worker上时的通信效率问题，在实际应用中，其动量对应项能够匹配Adam算法在深层Imagenet模型上的精度和收敛速度。高斯定理证明sign-based优化方法对于通信效率和收敛速度的提高具有巨大潜力。

Feb, 2018

本论文提出了一种名为 Sketched SGD 的算法，通过传递梯度草图而不是完整梯度来执行分布式 SGD，与其他梯度压缩方法相比，Sketched SGD 通过减少通信次数将通信成本降低了约40倍，同时不影响最终模型性能。

Mar, 2019

本文研究了分布式优化方法在深度学习中的应用，发现分布式动量随机梯度下降在性能、通讯效率方面存在一定优势，并证明其拥有与分布式随机梯度下降相同的线性加速性质。

May, 2019

提出了一种新的名为全局动量压缩的方法，其利用稀疏通信和记忆梯度与动量随机梯度下降相结合，能够在分布式机器学习任务中显著减少通信成本，同时证明了该方法在凸问题和非凸问题中的收敛速率。

May, 2019

本文研究了梯度压缩方法以缓解数据并行分布式优化中的通信瓶颈，提出了一种基于幂迭代的新型低秩梯度压缩器，在快速压缩梯度、高效聚合压缩梯度并且在测试性能上与随机梯度下降（SGD）相当的情况下实现了持续的加速，该算法是唯一评估的方法，与具有优化的通信后端的常规SGD进行基准测试时实现了一致的挂钟加速，并且在常见数据集上展示了卷积网络以及LSTM的训练时间缩短。

May, 2019

研究表明，用于分布式学习的偏置压缩算子可以显著提高通信效率并达到线性收敛率，其性能优于其无偏压缩器。它们可用于随机梯度下降和分布式随机梯度下降，并且存在许多具有良好理论保证和实际性能的新偏置压缩器可供选择。

Feb, 2020

本文研究比较了两种标准的数据压缩方法：分布式量化SGD和分布式SGD反馈错误的压缩机在非独立同分布数据集的训练效果，结果表明，后者比前者更适合非独立同分布数据，但两种方法都会因为数据分布的不均匀而变慢。文中还提出一种对于强凸问题有效的方法和适用于线性压缩器的更通用的方法。

Sep, 2020

本文提出了一组全局归约兼容的梯度压缩方案，通过压缩梯度实现降低通信开销的目的，并取得比当前深度学习框架提供的方法更好的表现效果。

Sep, 2021

本研究提出了一种名为ACP-SGD的梯度压缩方法，可以加速分布式训练并具有三种甚至更优秀的系统优化技术，与S-SGD相比，优化后的ACP-SGD在减少压缩和通信开支的同时，能够实现相似的模型准确性。

Jun, 2023

我们提出了一种在参数服务器框架中实现梯度压缩的分布式随机梯度下降（SGD）的新算法。我们的梯度压缩技术名为压平一位随机梯度下降（FO-SGD），它依赖于两个简单的算法思想：（i）利用抖动技术的一位量化过程，和（ii）在量化之前使用随机快速Walsh-Hadamard变换来压平随机梯度。因此，在该方案中，真实梯度的近似是有偏的，但它避免了常见的算法问题，如在一位压缩制度下方差激增、在梯度稀疏情况下性能恶化和对随机梯度分布的限制性假设。实际上，我们证明了在温和条件下类似于SGD的收敛性保证。该压缩技术可在工作机-服务器通信的双向上使用，因此支持具有完整通信压缩的分布式优化。

May, 2024