FedMoE：模型异构个性化联邦学习中基于数据的个性化

Feb, 2024

FedMoE：模型异构个性化联邦学习中基于数据的个性化

FedMoE: Data-Level Personalization with Mixture of Experts for Model-Heterogeneous Personalized Federated Learning

Liping Yi, Han Yu, Chao Ren, Heng Zhang, Gang Wang...

TL;DR通过引入混合专家方法，我们提出了一种新颖的模型异构个性化联邦学习算法（FedMoE），用于解决当前模型异构个性化联邦学习方法中的数据和模型隐私、模型性能、通信和计算成本等问题。该算法通过在本地训练过程中结合全局和本地特征来提高模型的个性化能力，并通过信息聚合实现跨客户端的模型参数融合。

Abstract

federated learning (FL) is widely employed for collaborative training on decentralized data but faces challenges like data, system, and model heterogeneity. This prompted the emergency of model-heterogeneous personalized →

federated learning model-heterogeneous personalized federated learning mixture of experts large language models personalized prediction

发现论文，激发创造

pFedES: 模型异构个性化的联邦学习与特征提取器共享

提出了基于特征提取器共享的异构个性化联邦学习方法 (pFedES)，该方法在不同客户端的本地模型中引入小型同质特征提取器，通过迭代学习方法进行训练，实现全局泛化知识和本地个性化知识的交换和共享，其理论上证明了 pFedES 能够在墙时收敛。在两个真实数据集上的广泛实验中，与六种最先进的方法相比，pFedES 构建了最准确的模型，同时通信和计算成本较低，与最佳基准相比，测试准确性提高了 1.61%，通信和计算成本分别降低了 99.6% 和 82.9%。

Nov, 2023

自适应专家模型用于联邦学习中的个性化

该研究提出了一种针对非 IID 数据的个性化联邦学习方法，使用专家混合模型来学习相似的客户，即使在病理性非 IID 环境中，我们的方法仍然能够比本地模型获得高达 4.38％的精度优势。

Jun, 2022

Fed-ZERO: 基于联邦专家混合的零样学习个性化方案

本文提出了一种在 Federated Learning 框架下使用混合专家（Mixture-of-Experts）框架来实现零 - shot 个性化的方法。使用此方法时，我们的模型在保持零 - shot 表现的同时，可以在端到端过程中加入预训练模型的知识以增强其路由决策，并在常见的 FL 基准测试中使性能提高 18%。

Jun, 2023

pFedAFM：异构联邦学习中基于批次的个性化自适应特征混合

基于模型异构的个性化联邦学习通过自适应特征混合（pFedAFM）实现了训练不同结构个性化模型的联邦学习客户端，以应对非独立同分布的本地数据。

Apr, 2024

联合模型异构母娃表示学习

Federated model heterogeneous Matryoshka Representation Learning (FedMRL) enables knowledge exchange and improves model learning capability in heterogeneous federated learning through representation fusion.

Jun, 2024

基于特征融合的个性化联邦学习

本研究讨论了联邦学习中的数据异质性问题，并提出了一种个性化的联邦学习方法，名为 pFedPM，通过特征上传来减少通信成本和允许异构客户端模型，实验证明该方法在 MNIST、FEMNIST 和 CRIFAR10 数据集上的通信效率优于其他联邦学习方法。

Jun, 2024

异构和长尾数据上的多层个性化联邦学习

MuPFL 是一种创新的个性化联邦学习框架，通过多层次结构完全利用不同层次的计算资源，解决数据异质性对模型偏差的影响，缓解过拟合、加速训练，提高分类准确性，并在非独立同分布和长尾条件下取得显著的有效性和效率方面的进展。

May, 2024

个性化先验隐藏信息联邦学习

本文介绍了一个名为 pFedBreD 的基于贝叶斯学习方法的个性化联合学习框架，该框架针对异构数据问题进行建模，并应用 Bregman 散度约束来解决该问题。实验结果表明，在高斯先验和均值选择的一阶策略的前提下，pFedBreD 显著优于其他个性化联合学习算法。

Nov, 2022

基于稀疏模型自适应的高效个性化联邦学习

提出一种名为 pFedGate 的方法，通过自适应和高效地学习稀疏本地模型来实现高效个性化联邦学习，并通过轻量级可训练的门控层使客户端生成不同的稀疏模型，同时考虑到异构的数据分布和资源限制，实现了计算和通信的效率提高，理论上的收敛性和泛化误差更优越，实验证明该方法相对于同类方法能够同时实现更高的全局准确性、个体准确性和效率，并能够适应不同的数据分布。

May, 2023

大规模移动边缘计算网络上的分层个性化联邦学习

该研究提出了层次化的个性化联邦学习算法（HPFL），将用户设备（UEs）分层聚类，从而解决移动边缘计算（MEC）网络中的异构性问题，并在全局模型与边缘模型聚合之间寻求轮数损失最小化和轮延迟最小化之间的权衡。

Mar, 2023