客户监督的联邦学习:朝着通用个性化模型
该论文研究了联邦学习(FL)的个性化策略问题,并介绍了一种通过元网络(meta-nets)在 FL 网络中学习个性化策略的框架,该框架通过学习元网络的批量归一化和学习率参数来为每个客户端生成定制的个性化策略。实证结果表明,该框架在标签偏移和特征偏移情况下优于多种标准的手工个性化基线方法。
Oct, 2023
使用堆叠泛化的新型个性化方法,在保护隐私的情况下,直接发送模型来训练元模型,并在水平、混合和垂直分区联邦中适用各种模型类型和隐私保护技术,从而创建更适合个体客户数据的多个模型,并通过多方面评估每位客户对联邦的贡献。
Apr, 2024
本研究提出了一种适用于高度数据和系统异构的个性化联邦学习框架 PerFed-CKT,可使用不同的模型架构,通过簇内共同训练和知识传输来降低通信成本并在测试中获得高精度。
Sep, 2021
本文提出了一种轻量级框架,使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习;我们设计了一种基于原型的对比学习(FedPCL)方法,以原型为共享信息进行知识传递,从而提高各个客户端利用现有模型的能力并保持通信效率。
Sep, 2022
研究个性化联邦学习中如何利用服务器数据来提高 meta-gradient 计算以增加个性化性能的 FedSIM 方法,并通过各种基准测试和消融实验证明其优于现有方法,不仅计算效率更高,而且收敛速度高达 34.2%。
May, 2022
本文介绍了一个名为 pFedBreD 的基于贝叶斯学习方法的个性化联合学习框架,该框架针对异构数据问题进行建模,并应用 Bregman 散度约束来解决该问题。实验结果表明,在高斯先验和均值选择的一阶策略的前提下,pFedBreD 显著优于其他个性化联合学习算法。
Nov, 2022
本论文提出了一种自我感知的个性化联邦学习方法,通过采用贝叶斯分层模型,利用不确定性量化来平衡本地模型改进和全局模型调整,使用不确定性驱动的本地训练步骤和聚合规则来实现。通过实验研究,该方法显著提高了个性化性能。
Apr, 2022
本论文通过策略提出了 Personalisation-aware Federated Learning (PaFL) 的模型,在语言任务中减少了 50% 的表现不佳客户端的数量,在图像任务中也避免了表现不佳客户端数量翻倍的情况,提高了边缘设备参与联邦学习的效率并有望在未来实验和理论分析上得到更多的应用。
May, 2023
本文提出了一种个性化的联邦学习方法,通过每个客户只与相关客户联合训练模型,实现客户自定义目标分布的最优加权模型组合,且不需要知道任何数据分布或客户相似性的先验知识,该方法在多个联邦学习场景和数据集下表现优异,同时也支持个性化的迁移学习。
Dec, 2020
本文介绍了一种名为 DyPFL 的动态个性化联邦学习技术,将受训练意愿不同的客户纳入考虑,以提高收敛性能。结果表明,该算法可以在各种条件下优于替代个性化方法。
Aug, 2022