异构分布式学习中的小批量对比本地 SGD

Jun, 2020

Minibatch vs Local SGD for Heterogeneous Distributed Learning

Blake Woodworth, Kumar Kshitij Patel, Nathan Srebro

TL;DR本文研究异构分布共享的随机梯度下降优化问题，通过对比Local SGD和Minibatch SGD，得到加速的Minibatch SGD是解决高异质性问题的最优方法，并提出了第一个比Minibatch SGD更好的Local SGD的上界解。

Abstract

We analyze local sgd (aka parallel or federated SGD) and minibatch sgd<