pFedES: 模型异构个性化的联邦学习与特征提取器共享

Nov, 2023

pFedES: 模型异构个性化的联邦学习与特征提取器共享

pFedES: Model Heterogeneous Personalized Federated Learning with Feature Extractor Sharing

Liping Yi, Han Yu, Gang Wang, Xiaoguang Liu

TL;DR提出了基于特征提取器共享的异构个性化联邦学习方法 (pFedES)，该方法在不同客户端的本地模型中引入小型同质特征提取器，通过迭代学习方法进行训练，实现全局泛化知识和本地个性化知识的交换和共享，其理论上证明了 pFedES 能够在墙时收敛。在两个真实数据集上的广泛实验中，与六种最先进的方法相比，pFedES 构建了最准确的模型，同时通信和计算成本较低，与最佳基准相比，测试准确性提高了 1.61%，通信和计算成本分别降低了 99.6% 和 82.9%。

Abstract

As a privacy-preserving collaborative machine learning paradigm, federated learning (FL) has attracted significant interest from academia and the industry alike. To allow each data owner (a.k.a., FL clients) to train a heterogeneous and personalized local model based on its local data distribution, system resources and requirements on model structure, the fi

federated learning model-heterogeneous personalized federated learning feature extractor sharing knowledge transfer communication and computation costs

发现论文，激发创造

FedMoE：模型异构个性化联邦学习中基于数据的个性化

通过引入混合专家方法，我们提出了一种新颖的模型异构个性化联邦学习算法（FedMoE），用于解决当前模型异构个性化联邦学习方法中的数据和模型隐私、模型性能、通信和计算成本等问题。该算法通过在本地训练过程中结合全局和本地特征来提高模型的个性化能力，并通过信息聚合实现跨客户端的模型参数融合。

Feb, 2024

pFedAFM：异构联邦学习中基于批次的个性化自适应特征混合

基于模型异构的个性化联邦学习通过自适应特征混合（pFedAFM）实现了训练不同结构个性化模型的联邦学习客户端，以应对非独立同分布的本地数据。

Apr, 2024

个性化先验隐藏信息联邦学习

本文介绍了一个名为 pFedBreD 的基于贝叶斯学习方法的个性化联合学习框架，该框架针对异构数据问题进行建模，并应用 Bregman 散度约束来解决该问题。实验结果表明，在高斯先验和均值选择的一阶策略的前提下，pFedBreD 显著优于其他个性化联合学习算法。

Nov, 2022

基于特征融合的个性化联邦学习

本研究讨论了联邦学习中的数据异质性问题，并提出了一种个性化的联邦学习方法，名为 pFedPM，通过特征上传来减少通信成本和允许异构客户端模型，实验证明该方法在 MNIST、FEMNIST 和 CRIFAR10 数据集上的通信效率优于其他联邦学习方法。

Jun, 2024

FedSSA: 基于语义相似性的聚合方法用于高效异构模型个性化联邦学习

提出了一种名为 Federated Semantic Similarity Aggregation (FedSSA) 的方法，利用语义相似性来实现 FL 中的知识传递，同时通过自适应参数稳定策略实现全局到局部的知识传输，从而实现更高的准确性、通信效率和计算效率。

Dec, 2023

针对统计异质性的个性化联邦学习

联邦学习的普及与人工智能应用中对数据隐私的关注日益增长。联邦学习促进了多方合作的模型学习，同时确保了数据保密性。然而，由于不同客户数据分布导致的统计异质性问题，会带来一些挑战，例如不足的个性化和收敛速度慢。为了解决上述问题，本文简要总结了个性化联邦学习领域的当前研究进展，概述了个性化联邦学习的概念，审视了相关技术，并强调了当前的努力。此外，本文还讨论了个性化联邦学习的潜在进一步研究和障碍。

Feb, 2024

FedFed: 联邦学习中针对数据异质性的特征蒸馏

通过提出一种被称为联邦特征蒸馏（FedFed）的新方法，本研究肯定了通过共享部分数据特征来解决数据异质性，并在全球范围内共享性能敏感的特征以减轻数据异质性的可能性。

Oct, 2023

基于稀疏模型自适应的高效个性化联邦学习

提出一种名为 pFedGate 的方法，通过自适应和高效地学习稀疏本地模型来实现高效个性化联邦学习，并通过轻量级可训练的门控层使客户端生成不同的稀疏模型，同时考虑到异构的数据分布和资源限制，实现了计算和通信的效率提高，理论上的收敛性和泛化误差更优越，实验证明该方法相对于同类方法能够同时实现更高的全局准确性、个体准确性和效率，并能够适应不同的数据分布。

May, 2023

FediOS: 在特征不平衡联邦学习中解耦正交子空间实现个性化

个性化联邦学习（pFL）通过协同训练多个客户端来增强定制本地模型的能力。本文提出了一种名为 FediOS 的有效 pFL 方法，通过重新设计特征偏斜 pFL 的架构解耦设计，将模型分为两个特征提取器（通用和个性化）和一个共享预测头。通过正交投影将通用特征映射到一个公共子空间，并将个性化特征分散到不同的子空间以实现解耦。此外，在推理过程中，还训练了一个共享预测头来平衡通用特征和个性化特征的重要性。四个视觉数据集上的广泛实验证明了我们的方法在特征偏斜异质性下达到了最先进的 pFL 性能。

Nov, 2023

FedPH: 增强隐私的异构联邦学习

提出一种新的联邦学习方法，利用预训练模型作为本地模型的骨架，使用完全连接的层组成头部来解决客户端数据分布和计算资源不同的问题，在客户端之间共享类别的嵌入向量，采用加噪声的隐私保护混合方法来保护隐私，最后在自建车辆数据集上进行全面评估。

Jan, 2023