Jun, 2019
Qsparse-local-SGD: 带量化、稀疏化和本地计算的分布式 SGD
Qsparse-local-SGD: Distributed SGD with Quantization, Sparsification, and Local Computations
Debraj Basu, Deepesh Data, Can Karakus, Suhas Diggavi
TL;DR本研究旨在提出一种具有依赖误差补偿机制的 Qsparse-local-SGD 算法,该算法采用聚合式稀疏化和量化,以及局部计算方法,并且与其他算法相比在解决大规模学习模型中的通信问题上具备潜在的优越性。