Jun, 2023
DSGD-CECA:带通信最优确切一致性算法的分散式随机梯度下降
DSGD-CECA: Decentralized SGD with Communication-Optimal Exact Consensus Algorithm
Lisang Ding, Kexin Jin, Bicheng Ying, Kun Yuan, Wotao Yin
TL;DR该论文提出了一种去除了分布式训练中代理数受 2 的整数限制的方法,称为 DSGD-CECA,它使用交流拓扑和八卦权矩阵来实现通信,达到了与当前最先进方法相同的效率,实现了任意数量的代理,并减少了每次迭代的通信负载。