个性化高斯过程联邦学习
本文提出了一种名为上下文化泛化(CG)的新概念,旨在为每个客户端提供更好地适合本地数据分布和更快模型收敛的细粒度上下文知识。作者还提出了CGPFL框架,在多个现实世界的数据集上进行了实验,证明了该方法在测试精度上显著优于最先进的方法。
Jun, 2021
本文提出FedPop方法,将个性化联邦学习重新定义为种群建模范式,利用群体参数和随机效应解释数据异质性,并通过马尔科夫链蒙特卡洛方法引入新类联邦随机优化算法提供不确定性量化,从而满足新客户、小观测样本数据的实时学习需求。
Jun, 2022
本文介绍了一个名为pFedBreD的基于贝叶斯学习方法的个性化联合学习框架,该框架针对异构数据问题进行建模,并应用Bregman散度约束来解决该问题。实验结果表明,在高斯先验和均值选择的一阶策略的前提下,pFedBreD显著优于其他个性化联合学习算法。
Nov, 2022
该研究针对现有的PFL方法存在的局限性,提出了一种名为FedGMM的新方法,该方法利用高斯混合模型在多个客户端之间适应输入数据分布,实现更好的性能,并且可以适应新的客户端且具有不确定性量化的能力。
May, 2023
提出一种名为 pFedGate 的方法,通过自适应和高效地学习稀疏本地模型来实现高效个性化联邦学习,并通过轻量级可训练的门控层使客户端生成不同的稀疏模型,同时考虑到异构的数据分布和资源限制,实现了计算和通信的效率提高,理论上的收敛性和泛化误差更优越,实验证明该方法相对于同类方法能够同时实现更高的全局准确性、个体准确性和效率,并能够适应不同的数据分布。
May, 2023
本文提出的基于分层贝叶斯模型和变分推断的个人化联邦学习算法,引入全局模型作为潜在变量,以捕捉不同客户端之间的公共趋势,使用变分期望最大化技术训练模型并得出包含客户端参数不确定性和本地模型偏差的置信度评估,进而对客户端参数进行加权,优化全局模型的正则化效果,在多个数据集上进行了大量实证研究并证明了其优越性。
May, 2023
我们提出了一种新型的个性化联邦学习框架pFedPG,通过在服务器上学习部署个性化提示生成器,生成适应本地数据分布的特定于客户端的视觉提示,以实现从大规模模型中获取强大表示能力同时为异构客户端实现高效个性化模型优化。
Aug, 2023
提出了基于特征提取器共享的异构个性化联邦学习方法(pFedES),该方法在不同客户端的本地模型中引入小型同质特征提取器,通过迭代学习方法进行训练,实现全局泛化知识和本地个性化知识的交换和共享,其理论上证明了pFedES能够在墙时收敛。在两个真实数据集上的广泛实验中,与六种最先进的方法相比,pFedES构建了最准确的模型,同时通信和计算成本较低,与最佳基准相比,测试准确性提高了1.61%,通信和计算成本分别降低了99.6%和82.9%。
Nov, 2023
个性化联邦学习的PAC-PFL算法在一个PAC-Bayesian框架中应用差分隐私处理数据相关的先验概率,协同学习共享超后验,并将每个客户的后验推断视为个性化步骤,通过建立和最小化客户平均真实风险的泛化界限,有效地抑制过度拟合,从而实现准确和良好校准的预测。
Jan, 2024
基于模型异构的个性化联邦学习通过自适应特征混合(pFedAFM)实现了训练不同结构个性化模型的联邦学习客户端,以应对非独立同分布的本地数据。
Apr, 2024