Feb, 2021
准全局动量:加速异构数据下的分散式深度学习
Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data
Tao Lin, Sai Praneeth Karimireddy, Sebastian U. Stich, Martin Jaggi
TL;DR本文研究了多个分布式优化算法在面对不同客户端数据异构程度时的局限性,并提出了一种基于动量法的方法来减轻这种分布式训练困难。通过在多个数据集上的实验,结果表明我们提出的方法比其他现有方法更能够应对客户端数据异构性。