Dec, 2019
降低通信复杂度的方差减少本地随机梯度下降
Variance Reduced Local SGD with Lower Communication Complexity
Xianfeng Liang, Shuheng Shen, Jingchang Liu, Zhen Pan, Enhong Chen...
TL;DR本论文提出了一种 Variance Reduced Local SGD 算法,通过消除工作人员之间的梯度方差依赖性,实现了更低的通信复杂性,以实现线性迭代加速,并在三个机器学习任务上得到了卓越的性能表现。