Jun, 2024

针对个性化联邦学习的客户正则化和类别分布聚合

TL;DR个性化联邦学习中,通过使用分别适用于具有多样数据分布的客户端的定制模型。本文提出了一种新颖的PFL方法,即类别级联联邦平均(cwFedAVG),该方法在服务器端按类别执行联邦平均(FedAVG),创建多个每个类别的全局模型。每个本地模型使用其估计的本地类别分布(由深度网络权重的L2-范数导出),加权整合这些全局模型,避免了隐私违规。每个全局模型以相同的方法对本地模型进行操作。实验结果显示,cwFedAVG可以与多个现有的PFL方法相媲美甚至更好。值得注意的是,cwFedAVG在概念上简单而计算高效,通过利用共享全局模型来减少客户端之间合作所需的广泛计算。可视化结果揭示了cwFedAVG如何实现了各自类别分布上的本地模型专业化,同时全局模型捕获了跨客户端的类别相关信息。