Sep, 2019
通过惰性聚合量化梯度进行高效的分布式学习通信
Communication-Efficient Distributed Learning via Lazily Aggregated Quantized Gradients
Jun Sun, Tianyi Chen, Georgios B. Giannakis, Zaiyue Yang
TL;DR本文提出了一种新的集成梯度方法来进行分布式机器学习,其通过量化计算的梯度避免信息不足的梯度通信并高效减少通信开销。实验证明,与现有的基于梯度或随机梯度的算法相比,该算法可以显著减少通信量和通信轮数。