改进后验网络的个性化联邦学习的狄利克雷基础不确定性量化

Dec, 2023

改进后验网络的个性化联邦学习的狄利克雷基础不确定性量化

Dirichlet-based Uncertainty Quantification for Personalized Federated Learning with Improved Posterior Networks

Nikita Kotelevskii, Samuel Horváth, Karthik Nandakumar, Martin Takáč, Maxim Panov

TL;DR通过对预测的不确定性进行精确建模，本研究提出了一种新的联邦学习方法，能够选择在特定输入点上表现更好的全局模型和个性化模型，该模型在现实世界的图像数据集上进行的全面实验评估表明其在存在超领域数据的情况下表现优异，并且在标准场景中与最先进的个性化联邦学习算法相当。

Abstract

In modern federated learning, one of the main challenges is to account for inherent heterogeneity and the diverse nature of data distributions for different clients. This problem is often addressed by introducing

federated learning heterogeneity personalized model data distribution predictive uncertainties

发现论文，激发创造

可靠的个性化贝叶斯联邦学习通过后验微调

本文提出了一种基于贝叶斯方法的个性化联邦学习框架，采用参数后验的正态化流实现了个性化，从理论上分析了正态化流对贝叶斯神经网络的异常检测的影响，并通过在异构数据集上的实验结果表明，该方法不仅提高了准确性，还在异常检测方面优于基线模型。

Feb, 2024

基于变分贝叶斯推断的个性化联邦学习

本文提出了一种名为 pFedBayes 的新型个性化联合学习方法，采用贝叶斯变分推理，通过引入权重不确定性来减轻模型过拟合的问题，在满足客户端全局分布的 KL 散度的同时，通过平衡私有数据的构造误差来更新其本地分布参数，理论分析说明了平均泛化误差的上界和收敛速度，实验结果表明，该方法在个性化模型方面表现出色，相较于其他先进的个性化方法，例如在非 i.i.d. 有限的数据下，pFedBayes 在 MNIST、FMNIST 和 CIFAR-10 上分别比其他 SOTA 算法的结果更好，分别提高了 1.25%、0.42% 和 11.71%。

Jun, 2022

联邦学习中的个性化改善隐私 - 准确性权衡

研究分布式机器学习系统，并基于修正的随机优化算法实现私人级联学习，在保证局部模型私密性的同时，与全局模型进行协调，提升了准确性和隐私保护的平衡。

Feb, 2022

个性化联邦学习参数选择的贝叶斯神经网络

提出了一种个性化的联邦学习方法，在神经网络的元素级别进行个性化参数选择，利用贝叶斯神经网络和提供的不确定性来指导参数选择，实验证明该方法在多个真实数据集上优于现有基线模型。

Feb, 2024

FedPop：个性化联邦学习的贝叶斯方法

本文提出 FedPop 方法，将个性化联邦学习重新定义为种群建模范式，利用群体参数和随机效应解释数据异质性，并通过马尔科夫链蒙特卡洛方法引入新类联邦随机优化算法提供不确定性量化，从而满足新客户、小观测样本数据的实时学习需求。

Jun, 2022

联邦学习的个性化技术综述

本文调查了针对非独立同分布数据的个性化联邦学习的研究，此技术可让多方参与联合学习，从而达到隐私保护的目的。

Mar, 2020

基于特征融合的个性化联邦学习

本研究讨论了联邦学习中的数据异质性问题，并提出了一种个性化的联邦学习方法，名为 pFedPM，通过特征上传来减少通信成本和允许异构客户端模型，实验证明该方法在 MNIST、FEMNIST 和 CRIFAR10 数据集上的通信效率优于其他联邦学习方法。

Jun, 2024

异构环境下保护隐私的贝叶斯联邦学习

本文介绍了针对异构客户端的联邦学习框架，基于训练本地的贝叶斯模型，通过在网络的输出空间中加入监管，提供了处理不同限制和限制条件的自然方法，并提供了严格保密性保证和模型的不确定性表征

Jun, 2023

个性化联邦学习的概率模型：一种 PAC-Bayesian 方法

个性化联邦学习的 PAC-PFL 算法在一个 PAC-Bayesian 框架中应用差分隐私处理数据相关的先验概率，协同学习共享超后验，并将每个客户的后验推断视为个性化步骤，通过建立和最小化客户平均真实风险的泛化界限，有效地抑制过度拟合，从而实现准确和良好校准的预测。

Jan, 2024

UPFL：面向新客户的无监督个性化联邦学习

在个性化联邦学习领域，当一个联邦模型已经训练和部署，并且有一个未标记的新客户端加入时，为新客户端提供个性化模型是一个极具挑战性的任务。本文针对这一挑战，将自适应风险最小化技术扩展到无监督个性化联邦学习设置中，并提出我们的方法 FedTTA。我们通过使用代理正则化和熵提前停止调整来改进 FedTTA，进而提出了两种简单而有效的优化策略。此外，我们还针对 FedTTA 设计了一种专门的知识蒸馏损失，以解决设备异构性问题。针对十一个基准测试，通过对五个数据集进行大量实验，证明了我们提出的 FedTTA 及其变种的有效性。

Jul, 2023