可靠的个性化贝叶斯联邦学习通过后验微调
提出了一种个性化的联邦学习方法,在神经网络的元素级别进行个性化参数选择,利用贝叶斯神经网络和提供的不确定性来指导参数选择,实验证明该方法在多个真实数据集上优于现有基线模型。
Feb, 2024
本文提出了一种名为 pFedBayes 的新型个性化联合学习方法,采用贝叶斯变分推理,通过引入权重不确定性来减轻模型过拟合的问题,在满足客户端全局分布的 KL 散度的同时,通过平衡私有数据的构造误差来更新其本地分布参数,理论分析说明了平均泛化误差的上界和收敛速度,实验结果表明,该方法在个性化模型方面表现出色,相较于其他先进的个性化方法,例如在非 i.i.d. 有限的数据下,pFedBayes 在 MNIST、FMNIST 和 CIFAR-10 上分别比其他 SOTA 算法的结果更好,分别提高了 1.25%、0.42% 和 11.71%。
Jun, 2022
通过对预测的不确定性进行精确建模,本研究提出了一种新的联邦学习方法,能够选择在特定输入点上表现更好的全局模型和个性化模型,该模型在现实世界的图像数据集上进行的全面实验评估表明其在存在超领域数据的情况下表现优异,并且在标准场景中与最先进的个性化联邦学习算法相当。
Dec, 2023
本文介绍了针对异构客户端的联邦学习框架,基于训练本地的贝叶斯模型,通过在网络的输出空间中加入监管,提供了处理不同限制和限制条件的自然方法,并提供了严格保密性保证和模型的不确定性表征
Jun, 2023
本研究讨论了联邦学习中的数据异质性问题,并提出了一种个性化的联邦学习方法,名为 pFedPM,通过特征上传来减少通信成本和允许异构客户端模型,实验证明该方法在 MNIST、FEMNIST 和 CRIFAR10 数据集上的通信效率优于其他联邦学习方法。
Jun, 2024
本文介绍了一种 Bayesian nonparametric framework,用于 federated learning 问题,其通过 neural networks 对每个数据服务器提供的本地权值进行建模,并且提出了一种推理方法,以在单个通信回合或很少的通信回合中合成更多表达性的全局网络。这种方法在两个流行的图像分类数据集的 federated learning 问题上得到了很好的应用效果。
May, 2019
Federated learning aims to protect data privacy, and this paper proposes FedSplit, a personalized federated learning framework addressing the challenge of data heterogeneity by splitting hidden elements into shared and personalized groups, optimizing with a novel objective function. Additionally, factor analysis is introduced to decouple hidden elements, resulting in a practically implemented model referred to as FedFac, which demonstrates superior prediction performance compared to other state-of-the-art federated learning methods on real datasets.
Dec, 2023
个性化联邦学习的 PAC-PFL 算法在一个 PAC-Bayesian 框架中应用差分隐私处理数据相关的先验概率,协同学习共享超后验,并将每个客户的后验推断视为个性化步骤,通过建立和最小化客户平均真实风险的泛化界限,有效地抑制过度拟合,从而实现准确和良好校准的预测。
Jan, 2024
本文介绍了 FedPer,一种基本 + 个性化层式的联邦深度前馈神经网络训练方法,旨在对抗数据异质性的负面影响,提升联邦学习的训练效果。FedPer 的有效性在 CIFAR 数据集和 Flickr 个性化图像美学数据集上得到了证明。
Dec, 2019
本文提出 FedPop 方法,将个性化联邦学习重新定义为种群建模范式,利用群体参数和随机效应解释数据异质性,并通过马尔科夫链蒙特卡洛方法引入新类联邦随机优化算法提供不确定性量化,从而满足新客户、小观测样本数据的实时学习需求。
Jun, 2022