Nov, 2023

分散式联邦学习的调度和通信方案

TL;DR分布式机器学习模式中的分布式学习是指许多客户端与中央服务器协同工作,以学习模型而无需共享自己的训练数据。本文介绍了一种采用随机梯度下降算法的分散式联邦学习(DFL)模型,作为一种更可伸缩的方法,以改善带有任意拓扑结构的代理网络中的学习性能。针对客户端和并行服务器之间的通信,提出了三种DFL调度策略,并在完全分散的SGD实现中对收敛性、准确性和损失进行了测试。实验结果表明所提出的调度策略对收敛速度和最终全局模型均有影响。