Feb, 2021
减少异质性的联邦学习中的偏差 - 方差减小的局部 SGD
Bias-Variance Reduced Local SGD for Less Heterogeneous Federated Learning
Tomoya Murata, Taiji Suzuki
TL;DR本文介绍了一种新型的本地算法 BVR-L-SGD,用于非凸分布式优化,它基于小二阶异质性的本地目标,建议在同步工作时随机选择本地模型之一而不是取其平均值,并在理论上证明了 BVR-L-SGD 在小异质性的本地目标下比以前的非本地和本地方法都具有更好的通信复杂度,特别是当异质性较小且本地计算预算较大时,BVR-L-SGD 是打破通信复杂度 Θ(1/ε)障碍的第一种方法。