BriefGPT.xyz
Sep, 2020
关于异构数据分布式优化的通信压缩
On Communication Compression for Distributed Optimization on Heterogeneous Data
HTML
PDF
Sebastian U. Stich
TL;DR
本文研究比较了两种标准的数据压缩方法：分布式量化SGD和分布式SGD反馈错误的压缩机在非独立同分布数据集的训练效果，结果表明，后者比前者更适合非独立同分布数据，但两种方法都会因为数据分布的不均匀而变慢。文中还提出一种对于强凸问题有效的方法和适用于线性压缩器的更通用的方法。
Abstract
Lossy
gradient compression
, with either unbiased or biased
compressors
, has become a key tool to avoid the communication bottleneck in centrally coordinated
→