Oct, 2019
异步分散学习算法中的量化和本地更新
Asynchronous Decentralized SGD with Quantized and Local Updates
Giorgi Nadiradze, Amirmojtaba Sabour, Peter Davies, Shigang Li, Dan Alistarh
TL;DR研究异步传播模型下去中心化优化算法的收敛性,提出一种称为 SwarmSGD 的变量 SGD 算法,使用多维负载平衡过程连接进行分析,并在超级计算环境中表现出比以前的去中心化算法和大批次 SGD 更好的性能。