FedPop：个性化联邦学习的贝叶斯方法

Jun, 2022

FedPop：个性化联邦学习的贝叶斯方法

FedPop: A Bayesian Approach for Personalised Federated Learning

Nikita Kotelevskii, Maxime Vono, Eric Moulines, Alain Durmus

TL;DR本文提出 FedPop 方法，将个性化联邦学习重新定义为种群建模范式，利用群体参数和随机效应解释数据异质性，并通过马尔科夫链蒙特卡洛方法引入新类联邦随机优化算法提供不确定性量化，从而满足新客户、小观测样本数据的实时学习需求。

Abstract

personalised federated learning (FL) aims at collaboratively learning a machine learning model taylored for each client. Albeit promising advances have been made in this direction, most of existing approaches works do not allow for →

personalised federated learning uncertainty quantification population modeling paradigm markov chain monte carlo methods convergence guarantees

发现论文，激发创造

个性化联邦学习的概率模型：一种 PAC-Bayesian 方法

个性化联邦学习的 PAC-PFL 算法在一个 PAC-Bayesian 框架中应用差分隐私处理数据相关的先验概率，协同学习共享超后验，并将每个客户的后验推断视为个性化步骤，通过建立和最小化客户平均真实风险的泛化界限，有效地抑制过度拟合，从而实现准确和良好校准的预测。

Jan, 2024

针对统计异质性的个性化联邦学习

联邦学习的普及与人工智能应用中对数据隐私的关注日益增长。联邦学习促进了多方合作的模型学习，同时确保了数据保密性。然而，由于不同客户数据分布导致的统计异质性问题，会带来一些挑战，例如不足的个性化和收敛速度慢。为了解决上述问题，本文简要总结了个性化联邦学习领域的当前研究进展，概述了个性化联邦学习的概念，审视了相关技术，并强调了当前的努力。此外，本文还讨论了个性化联邦学习的潜在进一步研究和障碍。

Feb, 2024

个性化先验隐藏信息联邦学习

本文介绍了一个名为 pFedBreD 的基于贝叶斯学习方法的个性化联合学习框架，该框架针对异构数据问题进行建模，并应用 Bregman 散度约束来解决该问题。实验结果表明，在高斯先验和均值选择的一阶策略的前提下，pFedBreD 显著优于其他个性化联合学习算法。

Nov, 2022

FedPop：联邦式基于人口的超参数调优

本文介绍一种名为 FedPop 的新型超参数调整算法，采用基于种群的进化算法来优化分布式机器学习模式中的超参数，从而提高计算效率并探索更广泛的超参数搜索空间。在常见的联邦学习基准和复杂真实世界的联邦学习数据集上进行的实证验证表明，该方法有效性明显优于其他并行处理联邦学习的超参数调整方法。

Aug, 2023

PPFL: 面向异构人群的个性化联邦学习框架

在本文中，我们基于联邦学习的范式，通过使用规范模型来捕捉异质人群的基本特征并利用会员向量揭示客户的偏好，开发了一个灵活且可解释的个性化框架 PPFL（Population Personalized Federated Learning），并探索了与多任务 PFL、聚类 FL 和解耦 PFL 三个主要分支的关系，证明了 PPFL 的优势。我们提出了一个新颖的随机块坐标下降算法来解决 PPFL（一个非凸约束优化问题）并给出了收敛性质。通过在病理数据集和实际数据集上进行实验，结果验证了 PPFL 的有效性。

Oct, 2023

FedL2P：个性化联邦学习

该论文研究了联邦学习（FL）的个性化策略问题，并介绍了一种通过元网络（meta-nets）在 FL 网络中学习个性化策略的框架，该框架通过学习元网络的批量归一化和学习率参数来为每个客户端生成定制的个性化策略。实证结果表明，该框架在标签偏移和特征偏移情况下优于多种标准的手工个性化基线方法。

Oct, 2023

动态个性化联邦学习与激励

本文介绍了一种名为 DyPFL 的动态个性化联邦学习技术，将受训练意愿不同的客户纳入考虑，以提高收敛性能。结果表明，该算法可以在各种条件下优于替代个性化方法。

Aug, 2022

FedMAP：通过双层映射优化解锁个性化联邦学习的潜力

一个基于双层优化的贝叶斯个性化联邦学习框架，利用全局模型作为先验分布，在个性化客户模型的最大后验估计中集成共享知识，从而增强本地模型性能、泛化能力和通信效率，以解决联邦学习中非独立同分布数据带来的挑战。

May, 2024

具有共享和个性化不确定性表示的贝叶斯个性化联邦学习

Bayesian 个性化联邦学习（BPFL）通过统计上异质的客户数据来量化客户内部及客户间的不确定性和异质性，并将隐藏的神经表示分解成共享和本地组件，并联合学习共享和个性化的不确定性表示。

Sep, 2023

个性化联邦学习基于堆叠

使用堆叠泛化的新型个性化方法，在保护隐私的情况下，直接发送模型来训练元模型，并在水平、混合和垂直分区联邦中适用各种模型类型和隐私保护技术，从而创建更适合个体客户数据的多个模型，并通过多方面评估每位客户对联邦的贡献。

Apr, 2024