May, 2024

揭示效率:在非独立同分布联邦学习中学习显著稀疏模型

TL;DR我们提出了显著稀疏联合学习(SSFL),一种用于稀疏联合学习并具有高效通信的简化方法。在非独立同分布的情况下,SSFL 在训练之前利用在本地客户端数据上分别计算的参数显著性得分,并进行聚合,以确定全局掩码。在客户端和服务器之间每一轮只传递稀疏模型权重。我们通过标准的非独立同分布基准验证了 SSFL 的有效性,并注意到在稀疏性和准确性权衡方面有显著的改进。最后,我们在实际联合学习框架中部署了我们的方法,并报告了通信时间的改善。