基于稀疏模型自适应的高效个性化联邦学习

ICMLMay, 2023

基于稀疏模型自适应的高效个性化联邦学习

Efficient Personalized Federated Learning via Sparse Model-Adaptation

Daoyuan Chen, Liuyi Yao, Dawei Gao, Bolin Ding, Yaliang Li

TL;DR提出一种名为 pFedGate 的方法，通过自适应和高效地学习稀疏本地模型来实现高效个性化联邦学习，并通过轻量级可训练的门控层使客户端生成不同的稀疏模型，同时考虑到异构的数据分布和资源限制，实现了计算和通信的效率提高，理论上的收敛性和泛化误差更优越，实验证明该方法相对于同类方法能够同时实现更高的全局准确性、个体准确性和效率，并能够适应不同的数据分布。

Abstract

federated learning (FL) aims to train machine learning models for multiple clients without sharing their own private data. Due to the heterogeneity of clients' local data distribution, recent studies explore the persona

federated learning personalized fl sparse local models resource constraints pfedgate

发现论文，激发创造

使用稀疏本地模型实现个性化联邦学习

本论文提出一种名为 FedSpa 的新型 PFL 方案，它采用个性化稀疏掩码来在边缘上自定义稀疏的本地模型，理论和实验表明，FedSpa 不仅节省了通信和计算成本，而且在模型准确性和收敛速度方面表现优异。

Jan, 2022

个性化先验隐藏信息联邦学习

本文介绍了一个名为 pFedBreD 的基于贝叶斯学习方法的个性化联合学习框架，该框架针对异构数据问题进行建模，并应用 Bregman 散度约束来解决该问题。实验结果表明，在高斯先验和均值选择的一阶策略的前提下，pFedBreD 显著优于其他个性化联合学习算法。

Nov, 2022

PFA：隐私保护联邦适应以实现模型有效个性化

本文介绍了一种名为 PFA 的新框架，旨在以联邦方式实现更好的个性化结果。PFA 利用神经网络的稀疏性生成隐私保护表示，并使用这些表示来高效识别具有相似数据分布的客户端，从而进行分组并在联邦模型上进行群体式联邦学习来完成自适应过程。该框架能够保障客户端隐私，并在多个 FL 数据集上通过实验证明了其有效性和优越性。

Mar, 2021

本地注意力的个性化联邦学习

在联邦学习中，为了解决不同客户端的局部数据异构性所带来的性能下降问题，提出了一种名为 pFedLA 的简单而有效的算法，该算法通过将关注机制纳入客户端的个性化模型，并保持关注块客户化，从而在任何联邦学习方法中提高其性能。

Apr, 2023

自适应个性化联邦学习

本文提出了一种自适应个性化联邦学习算法，采用局部和整体模型混合的方法来提高模型的个性化能力，并使用通信高效的最优化方法来协同学习个性化模型，实验证明了该算法的有效性与泛化理论的正确性。

Mar, 2020

个性化联邦学习基于堆叠

使用堆叠泛化的新型个性化方法，在保护隐私的情况下，直接发送模型来训练元模型，并在水平、混合和垂直分区联邦中适用各种模型类型和隐私保护技术，从而创建更适合个体客户数据的多个模型，并通过多方面评估每位客户对联邦的贡献。

Apr, 2024

DisPFL：去中心化稀疏训练，实现通信高效的个性化联邦学习

提出了一种基于去中心化通信协议的个性化联邦学习框架，利用个性化稀疏掩码为每个用户的本地模型进行定制，进一步节省通信和计算成本，并在不同复杂度的本地客户端上达到更好的个性化性能。

Jun, 2022

通过去中心化的部分模型训练实现更适合个性化的联邦学习

本文提出了一种名为 DFedAlt 的个性化联邦学习框架，采用分散的部分模型训练方法，取得了与目前最先进的基准模型相媲美或更好的状态。该算法通过依次更新共享和个性化参数，在点对点的方式构建局部个性化模型，同时采用局部 SAM（Sharpness Aware Minimization）优化器来更新共享参数，从而有效地解决了模型共享一致性不足和通信成本过高等问题。

May, 2023

个性化联邦学习中基于能力异质性的选择性知识共享

Pa3dFL 是一个增强容量异构模型的新型框架，通过解耦和选择性地在容量异构模型之间共享知识，提高了本地模型的性能。通过将模型的每个层分解为通用参数和个性参数，并保持通用参数在客户端之间的统一大小并进行直接平均聚合，然后使用可学习的嵌入通过超网络为客户端生成大小变化的个性参数，最后通过自注意模块通过聚合客户端嵌入来实现个性参数的隐式聚合。通过在三个数据集上进行的广泛实验，我们的研究结果表明 Pa3dFL 在不同的异构设置下始终优于基准方法。此外，与基准方法相比，Pa3dFL 表现出竞争性的通信和计算效率，突显了它在不利系统条件下的实用性和适应性。

May, 2024

基于特征融合的个性化联邦学习

本研究讨论了联邦学习中的数据异质性问题，并提出了一种个性化的联邦学习方法，名为 pFedPM，通过特征上传来减少通信成本和允许异构客户端模型，实验证明该方法在 MNIST、FEMNIST 和 CRIFAR10 数据集上的通信效率优于其他联邦学习方法。

Jun, 2024