Dec, 2023
利用模型串联在联邦学习中利用标签偏差
Exploiting Label Skews in Federated Learning with Model Concatenation
Yiqun Diao, Qinbin Li, Bingsheng He
TL;DRFederated Learning（FL）是一种无需交换原始数据即可在不同数据所有者之间进行深度学习的有前途的解决方案，而非独立同分布（non-IID）数据是 FL 中的一个关键挑战，会显著降低最终模型的准确性。与大多数先前研究中对本地模型进行平均的方法不同，我们提出了 FedConcat，一种简单且有效的方法，将这些本地模型串联起来作为全局模型的基础，以有效地聚合本地知识。为了减小全局模型的大小，我们采用聚类技术，根据标签分布将客户分组，并在每个聚类内协作训练一个模型。我们通过分析深度神经网络的信息瓶颈来理论上分析串联相对于平均的优势。实验结果表明，在各种异质标签偏斜分布设置中，FedConcat 的准确性显著优于先前最先进的 FL 方法，同时通信成本更低。我们的代码可公开获取。