Mar, 2024
FedComLoc: 通信高效的稀疏与量化模型的分布式训练
FedComLoc: Communication-Efficient Distributed Training of Sparse and Quantized Models
Kai Yi, Georg Meinhardt, Laurent Condat, Peter Richtárik
TL;DR我们引入 FedComLoc 算法,集成了实用和有效的压缩技术到 Scaffnew 算法中,以进一步提高通信效率。通过使用流行的 TopK 压缩器和量化技术进行广泛实验,证明了在异构环境中大幅减少通信开销的能力。