Jun, 2024
针对个性化联邦学习的客户正则化和类别分布聚合
Regularizing and Aggregating Clients with Class Distribution for Personalized Federated Learning
Gyuejeong Lee, Daeyoung Choi
TL;DR个性化联邦学习中，通过使用分别适用于具有多样数据分布的客户端的定制模型。本文提出了一种新颖的 PFL 方法，即类别级联联邦平均（cwFedAVG），该方法在服务器端按类别执行联邦平均（FedAVG），创建多个每个类别的全局模型。每个本地模型使用其估计的本地类别分布（由深度网络权重的 L2 - 范数导出），加权整合这些全局模型，避免了隐私违规。每个全局模型以相同的方法对本地模型进行操作。实验结果显示，cwFedAVG 可以与多个现有的 PFL 方法相媲美甚至更好。值得注意的是，cwFedAVG 在概念上简单而计算高效，通过利用共享全局模型来减少客户端之间合作所需的广泛计算。可视化结果揭示了 cwFedAVG 如何实现了各自类别分布上的本地模型专业化，同时全局模型捕获了跨客户端的类别相关信息。