混合分布下的个性化联邦学习
pFedGP 基于高斯过程和深层核学习,旨在解决在低数据环境下学习跨客户有效性的挑战,通过学习跨客户的共享核函数以及个性化的 GP 分类器,在多个基准测试中实现了高度准确的状态,并在可靠性方面显着优于基准方法。
Jun, 2021
本文介绍了一个名为 pFedBreD 的基于贝叶斯学习方法的个性化联合学习框架,该框架针对异构数据问题进行建模,并应用 Bregman 散度约束来解决该问题。实验结果表明,在高斯先验和均值选择的一阶策略的前提下,pFedBreD 显著优于其他个性化联合学习算法。
Nov, 2022
联邦学习的普及与人工智能应用中对数据隐私的关注日益增长。联邦学习促进了多方合作的模型学习,同时确保了数据保密性。然而,由于不同客户数据分布导致的统计异质性问题,会带来一些挑战,例如不足的个性化和收敛速度慢。为了解决上述问题,本文简要总结了个性化联邦学习领域的当前研究进展,概述了个性化联邦学习的概念,审视了相关技术,并强调了当前的努力。此外,本文还讨论了个性化联邦学习的潜在进一步研究和障碍。
Feb, 2024
本文提出的基于分层贝叶斯模型和变分推断的个人化联邦学习算法,引入全局模型作为潜在变量,以捕捉不同客户端之间的公共趋势,使用变分期望最大化技术训练模型并得出包含客户端参数不确定性和本地模型偏差的置信度评估,进而对客户端参数进行加权,优化全局模型的正则化效果,在多个数据集上进行了大量实证研究并证明了其优越性。
May, 2023
个性化联邦学习的 PAC-PFL 算法在一个 PAC-Bayesian 框架中应用差分隐私处理数据相关的先验概率,协同学习共享超后验,并将每个客户的后验推断视为个性化步骤,通过建立和最小化客户平均真实风险的泛化界限,有效地抑制过度拟合,从而实现准确和良好校准的预测。
Jan, 2024
使用堆叠泛化的新型个性化方法,在保护隐私的情况下,直接发送模型来训练元模型,并在水平、混合和垂直分区联邦中适用各种模型类型和隐私保护技术,从而创建更适合个体客户数据的多个模型,并通过多方面评估每位客户对联邦的贡献。
Apr, 2024
最近发展的生成学习模型伴随着对基于生成对抗网络的联邦学习(FL)的增加兴趣。在 FL 的背景下,GAN 能够捕捉基本的客户数据结构,并能够重新生成类似于原始数据分布但不会泄露私有原始数据的样本。我们提出了一种针对 FL 中的客户异质性的新型 GAN 共享和聚合策略,即个性化 FL(PFL)。所提出的 PFL-GAN 在不同场景下解决了客户异质性问题。通过在几个知名数据集上进行严格实验的经验证明,PFL-GAN 的有效性。
Aug, 2023
Federated Modular Network (FedMN) is a novel Personalized Federated Learning approach that adapts to the joint distribution among local clients and produces personalized module block selection with a light-weighted routing hypernetwork, resulting in more effective and efficient learning compared to existing methods
Oct, 2022
本研究讨论了联邦学习中的数据异质性问题,并提出了一种个性化的联邦学习方法,名为 pFedPM,通过特征上传来减少通信成本和允许异构客户端模型,实验证明该方法在 MNIST、FEMNIST 和 CRIFAR10 数据集上的通信效率优于其他联邦学习方法。
Jun, 2024
该研究提出了一种基于混合模型假设的联邦多任务学习方法,该方法可以在设备上学习个性化模型并实现客户端和服务端两种架构下的联邦 EM 算法的收敛,同时在联邦学习基准测试中获得了更高的准确性和公平性。
Aug, 2021