Aug, 2023

通过异构模型重组实现个性化联邦学习

PDF
TL;DR本文提出了一种新颖的框架 pFedHR，用于解决联邦学习中模型异质性的实际挑战，通过利用异构模型重组实现个性化的联邦学习，在服务器端将异构模型个性化问题看作模型匹配优化任务，自动动态生成多样、具有信息量的个性化模型，减轻了使用具有不同分布的公共数据对客户数据的不利影响，并在实验结果中显示 pFedHR 在三个数据集上在 IID 和非 IID 设置下优于基线方法。
federated learningmodel heterogeneityheterogeneous model reassemblypersonalized federated learningmodel-matching optimization
发现论文，激发创造
  • 基于特征融合的个性化联邦学习

    本研究讨论了联邦学习中的数据异质性问题，并提出了一种个性化的联邦学习方法，名为 pFedPM，通过特征上传来减少通信成本和允许异构客户端模型，实验证明该方法在 MNIST、FEMNIST 和 CRIFAR10 数据集上的通信效率优于其他联邦学习方法。

    Jun, 2024

  • FedP3：基于模型异构的联邦化个性化和隐私友好的网络剪枝

    本研究关注于联邦学习中的客户端模型异质性问题，并提出了适用于模型异质性场景的有效、适应性强的联邦框架 FedP3 及其差分隐私变体 DP-FedP3，并从理论上验证了它们的高效性。

    Apr, 2024

  • 使用超网络进行个性化联邦学习

    本文提出了一种基于超网络的个性化联邦学习方法 pFedHN，该方法可以协同训练多个客户端的个性化模型，在考虑数据分布差异和减少通信成本的同时实现有效的参数共享，并在多个个性化联邦学习挑战中得到了很好的表现。

    Mar, 2021

  • pFedAFM：异构联邦学习中基于批次的个性化自适应特征混合

    基于模型异构的个性化联邦学习通过自适应特征混合（pFedAFM）实现了训练不同结构个性化模型的联邦学习客户端，以应对非独立同分布的本地数据。

    Apr, 2024

  • 因子辅助的个性化异构数据联邦学习优化

    Federated learning aims to protect data privacy, and this paper proposes FedSplit, a personalized federated learning framework addressing the challenge of data heterogeneity by splitting hidden elements into shared and personalized groups, optimizing with a novel objective function. Additionally, factor analysis is introduced to decouple hidden elements, resulting in a practically implemented model referred to as FedFac, which demonstrates superior prediction performance compared to other state-of-the-art federated learning methods on real datasets.

    Dec, 2023

  • 基于剪枝和恢复的联邦学习

    在异构环境中，提出了一种新颖的联邦学习训练框架，考虑了真实环境中客户端的各种网络速度差异。该框架集成了异步学习算法和修剪技术，有效解决了传统联邦学习算法在涉及异构设备的场景中的低效问题，同时解决了异步算法中某些客户端训练不充分和过时问题。通过在训练过程中逐步恢复模型大小，该框架加快了模型训练速度，同时保留了模型准确性。此外，还引入了改进的联邦学习聚合过程，包括缓冲机制，使异步联邦学习能够像同步学习一样进行操作。另外，在服务器向客户端传输全局模型的过程中进行了优化，减少了通信开销。我们在各种数据集上的实验表明：相对于传统的异步联邦学习和异构联邦学习，我们的方法在减少训练时间和提高收敛准确性方面取得了显著的改进；我们的方法在存在异构客户端和非独立同分布客户端数据的场景中优势更加明显。

    Mar, 2024

  • 基于异构模块化网络的个性化联邦学习

    Federated Modular Network (FedMN) is a novel Personalized Federated Learning approach that adapts to the joint distribution among local clients and produces personalized module block selection with a light-weighted routing hypernetwork, resulting in more effective and efficient learning compared to existing methods

    Oct, 2022

  • pFedES: 模型异构个性化的联邦学习与特征提取器共享

    提出了基于特征提取器共享的异构个性化联邦学习方法 (pFedES)，该方法在不同客户端的本地模型中引入小型同质特征提取器，通过迭代学习方法进行训练，实现全局泛化知识和本地个性化知识的交换和共享，其理论上证明了 pFedES 能够在墙时收敛。在两个真实数据集上的广泛实验中，与六种最先进的方法相比，pFedES 构建了最准确的模型，同时通信和计算成本较低，与最佳基准相比，测试准确性提高了 1.61%，通信和计算成本分别降低了 99.6% 和 82.9%。

    Nov, 2023

  • 联合模型异构母娃表示学习

    Federated model heterogeneous Matryoshka Representation Learning (FedMRL) enables knowledge exchange and improves model learning capability in heterogeneous federated learning through representation fusion.

    Jun, 2024

  • FedPH: 增强隐私的异构联邦学习

    提出一种新的联邦学习方法，利用预训练模型作为本地模型的骨架，使用完全连接的层组成头部来解决客户端数据分布和计算资源不同的问题，在客户端之间共享类别的嵌入向量，采用加噪声的隐私保护混合方法来保护隐私，最后在自建车辆数据集上进行全面评估。

    Jan, 2023