Apr, 2023
通过减少查询次数改进随机凸优化的本地SGD：SLowcal-SGD
SLowcal-SGD: Slow Query Points Improve Local-SGD for Stochastic Convex
Optimization
TL;DR本文研究分布式学习场景中，M台机器与参数服务器进行交互，以最小化公共目标函数。我们专注于异构情况，其中不同的机器可能从不同的数据分布中获取样本，设计出第一个本地更新方法，可以证明优于两种最突出的分布式基线：Minibatch-SGD和Local-SGD。我们的方法核心是缓慢的查询技术，我们将其定制为分布式环境，从而更好地缓解本地更新所引起的偏差。