面向异构客户的个性化联邦学习与聚类知识迁移
提出了一个基于个性化模型的联邦学习框架来应对异构模型的限制,并使用参数化群体知识转移训练算法来使客户端间自适应强化协作,从而实现个性化模型训练,并与现有方法进行比较得到显著的性能提升。
Nov, 2021
通过提出一种新的联邦学习框架,使得个性化联邦学习可以学习一个强健的全局模型,以在联邦学习系统中对未知的 / 测试客户端达到与个性化模型相当的性能。
Mar, 2024
本研究提出了一种新的合奏知识转移方法 Fed-ET,采用了加权一致性蒸馏方案,通过利用各服务器的高度异构数据来提取可靠的共识,同时通过利用合奏中的多样性来改善泛化能力,并在图像和语言任务中显示出在通信参数较少的情况下,Fed-ET 明显优于其他最先进的 FL 算法,并且对于高数据异构性也是强健的。
Apr, 2022
通过减少客户端之间的异质性,本研究提出了一种传递知识的方法,利用客户端专用生成器为每个客户端生成样本,以减少与其他客户端模型的冲突,从而构建出具有良好泛化能力的全局模型。
Aug, 2023
本文提出了一种轻量级框架,使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习;我们设计了一种基于原型的对比学习(FedPCL)方法,以原型为共享信息进行知识传递,从而提高各个客户端利用现有模型的能力并保持通信效率。
Sep, 2022
本文介绍 FedHKD 算法,通过知识蒸馏技术在服务器和客户端之间共享超知识来提高异构数据环境下的个性化联邦学习的表现,该算法不依赖公共数据集或在服务器上部署生成模型。实验证明,FedHKD 算法提高了全局模型和个性化模型表现,超越了现有的一些异构数据联邦学习方法。
Jan, 2023
使用堆叠泛化的新型个性化方法,在保护隐私的情况下,直接发送模型来训练元模型,并在水平、混合和垂直分区联邦中适用各种模型类型和隐私保护技术,从而创建更适合个体客户数据的多个模型,并通过多方面评估每位客户对联邦的贡献。
Apr, 2024
联邦学习的普及与人工智能应用中对数据隐私的关注日益增长。联邦学习促进了多方合作的模型学习,同时确保了数据保密性。然而,由于不同客户数据分布导致的统计异质性问题,会带来一些挑战,例如不足的个性化和收敛速度慢。为了解决上述问题,本文简要总结了个性化联邦学习领域的当前研究进展,概述了个性化联邦学习的概念,审视了相关技术,并强调了当前的努力。此外,本文还讨论了个性化联邦学习的潜在进一步研究和障碍。
Feb, 2024
本文介绍了一个名为 pFedBreD 的基于贝叶斯学习方法的个性化联合学习框架,该框架针对异构数据问题进行建模,并应用 Bregman 散度约束来解决该问题。实验结果表明,在高斯先验和均值选择的一阶策略的前提下,pFedBreD 显著优于其他个性化联合学习算法。
Nov, 2022
本研究讨论了联邦学习中的数据异质性问题,并提出了一种个性化的联邦学习方法,名为 pFedPM,通过特征上传来减少通信成本和允许异构客户端模型,实验证明该方法在 MNIST、FEMNIST 和 CRIFAR10 数据集上的通信效率优于其他联邦学习方法。
Jun, 2024