May, 2023

pFedSim: 面向个性化联邦学习的相似性感知模型集成

PDF
TL;DR提出一种结合局部模型聚合与神经网络解耦技术的个性化联邦学习算法 (pFedSim)，在保护数据隐私的前提下，显著提高模型精度且计算和通信开销低。
federated learningpersonalized flmodel similaritydata heterogeneityprivacy
发现论文，激发创造
  • FedSSA: 基于语义相似性的聚合方法用于高效异构模型个性化联邦学习

    提出了一种名为 Federated Semantic Similarity Aggregation (FedSSA) 的方法，利用语义相似性来实现 FL 中的知识传递，同时通过自适应参数稳定策略实现全局到局部的知识传输，从而实现更高的准确性、通信效率和计算效率。

    Dec, 2023

  • 具有服务器端信息的个性化联邦学习

    研究个性化联邦学习中如何利用服务器数据来提高 meta-gradient 计算以增加个性化性能的 FedSIM 方法，并通过各种基准测试和消融实验证明其优于现有方法，不仅计算效率更高，而且收敛速度高达 34.2％。

    May, 2022

  • PFA：隐私保护联邦适应以实现模型有效个性化

    本文介绍了一种名为 PFA 的新框架，旨在以联邦方式实现更好的个性化结果。PFA 利用神经网络的稀疏性生成隐私保护表示，并使用这些表示来高效识别具有相似数据分布的客户端，从而进行分组并在联邦模型上进行群体式联邦学习来完成自适应过程。该框架能够保障客户端隐私，并在多个 FL 数据集上通过实验证明了其有效性和优越性。

    Mar, 2021

  • DA-PFL：个性化联邦学习的动态亲和力聚合

    我们提出了一种新颖的动态亲和力个性化联邦学习模型（DA-PFL），以减轻联邦学习过程中的类不平衡问题。通过从互补的角度构建亲和度度量，并设计动态聚合策略来减少类不平衡风险，DA-PFL 模型可以显著提高三个真实世界数据集中每个客户的准确性。

    Mar, 2024

  • GPFL：针对个性化联邦学习同时学习全局和个性化特征信息

    提出了一种名为 GPFL 的新的个性化联邦学习方法，该方法在每个客户端上同时学习全局和个性化的特征信息，并在六个数据集上展示了 GPFL 在效果、可扩展性、公平性、稳定性和隐私方面优于十种最先进方法的优越性，此外，GPFL 能够减轻过拟合问题，准确率比基线方法提高了 8.99%。

    Aug, 2023

  • 个性化先验隐藏信息联邦学习

    本文介绍了一个名为 pFedBreD 的基于贝叶斯学习方法的个性化联合学习框架，该框架针对异构数据问题进行建模，并应用 Bregman 散度约束来解决该问题。实验结果表明，在高斯先验和均值选择的一阶策略的前提下，pFedBreD 显著优于其他个性化联合学习算法。

    Nov, 2022

  • 个性化联邦学习基于堆叠

    使用堆叠泛化的新型个性化方法，在保护隐私的情况下，直接发送模型来训练元模型，并在水平、混合和垂直分区联邦中适用各种模型类型和隐私保护技术，从而创建更适合个体客户数据的多个模型，并通过多方面评估每位客户对联邦的贡献。

    Apr, 2024

  • 通过去中心化的部分模型训练实现更适合个性化的联邦学习

    本文提出了一种名为 DFedAlt 的个性化联邦学习框架，采用分散的部分模型训练方法，取得了与目前最先进的基准模型相媲美或更好的状态。该算法通过依次更新共享和个性化参数，在点对点的方式构建局部个性化模型，同时采用局部 SAM（Sharpness Aware Minimization）优化器来更新共享参数，从而有效地解决了模型共享一致性不足和通信成本过高等问题。

    May, 2023

  • 基于梯度调制的个性化联邦学习在异构文本摘要中的应用

    提出一种联邦学习文本摘要方案 FedSUMM，通过动态梯度适配器提供更合适的本地模型参数，并使用差分隐私防止参数泄露，在特定任务的文本摘要任务上达到更快的模型收敛，并在不同的文本摘要优化指标下实现了更优异的性能。

    Apr, 2023

  • 基于稀疏模型自适应的高效个性化联邦学习

    提出一种名为 pFedGate 的方法，通过自适应和高效地学习稀疏本地模型来实现高效个性化联邦学习，并通过轻量级可训练的门控层使客户端生成不同的稀疏模型，同时考虑到异构的数据分布和资源限制，实现了计算和通信的效率提高，理论上的收敛性和泛化误差更优越，实验证明该方法相对于同类方法能够同时实现更高的全局准确性、个体准确性和效率，并能够适应不同的数据分布。

    May, 2023