Jul, 2023

低维特征空间内有效个性化联邦学习的实现

PDF
TL;DR基于低维特征空间的个性化联邦学习（Personalized Federated Learning，PFL）框架，通过选择每个客户端自适应其本地数据分布下全局编码器生成的特征中与任务相关的特征，提供了比参数空间更易理解和解释的 PFL 实现方法。FedPick 在跨领域的联邦学习中能够为每个客户端有效选择与任务相关的特征并提高模型性能。
personalized federated learningpflglobal encoderdomain gapstask-relevant features
发现论文，激发创造
  • FedSelect：个性化的联邦学习与定制化参数选择用于精调

    FedSelect 是一种新的个性化联邦学习算法，通过逐步扩展子网络对客户参数进行个性化，并在剩余参数上进行全局聚合，从而解决了客户数据异质性问题。

    Apr, 2024

  • 个性化先验隐藏信息联邦学习

    本文介绍了一个名为 pFedBreD 的基于贝叶斯学习方法的个性化联合学习框架，该框架针对异构数据问题进行建模，并应用 Bregman 散度约束来解决该问题。实验结果表明，在高斯先验和均值选择的一阶策略的前提下，pFedBreD 显著优于其他个性化联合学习算法。

    Nov, 2022

  • 个性化联邦学习基于堆叠

    使用堆叠泛化的新型个性化方法，在保护隐私的情况下，直接发送模型来训练元模型，并在水平、混合和垂直分区联邦中适用各种模型类型和隐私保护技术，从而创建更适合个体客户数据的多个模型，并通过多方面评估每位客户对联邦的贡献。

    Apr, 2024

  • PeFLL: 个性化联邦学习的终身学习方法

    本文提出了一种名为 PeFLL 的个性化联邦学习方法，通过联合训练嵌入网络和超级网络来输出特定客户端的模型，并证明了其较以往方法在精度和规模等方面都更具优势，还提供了一种新的理论结果以支持该方法的可行性。

    Jun, 2023

  • GPFL：针对个性化联邦学习同时学习全局和个性化特征信息

    提出了一种名为 GPFL 的新的个性化联邦学习方法，该方法在每个客户端上同时学习全局和个性化的特征信息，并在六个数据集上展示了 GPFL 在效果、可扩展性、公平性、稳定性和隐私方面优于十种最先进方法的优越性，此外，GPFL 能够减轻过拟合问题，准确率比基线方法提高了 8.99%。

    Aug, 2023

  • PPFL: 面向异构人群的个性化联邦学习框架

    在本文中，我们基于联邦学习的范式，通过使用规范模型来捕捉异质人群的基本特征并利用会员向量揭示客户的偏好，开发了一个灵活且可解释的个性化框架 PPFL（Population Personalized Federated Learning），并探索了与多任务 PFL、聚类 FL 和解耦 PFL 三个主要分支的关系，证明了 PPFL 的优势。我们提出了一个新颖的随机块坐标下降算法来解决 PPFL（一个非凸约束优化问题）并给出了收敛性质。通过在病理数据集和实际数据集上进行实验，结果验证了 PPFL 的有效性。

    Oct, 2023

  • 通过去中心化的部分模型训练实现更适合个性化的联邦学习

    本文提出了一种名为 DFedAlt 的个性化联邦学习框架，采用分散的部分模型训练方法，取得了与目前最先进的基准模型相媲美或更好的状态。该算法通过依次更新共享和个性化参数，在点对点的方式构建局部个性化模型，同时采用局部 SAM（Sharpness Aware Minimization）优化器来更新共享参数，从而有效地解决了模型共享一致性不足和通信成本过高等问题。

    May, 2023

  • 基于联邦学习的可共享特征训练方法，用于友好个性化图像分类

    本文提出了一种新的个性化联邦学习框架 ——FedBasis，它学习一组共享的 “基础” 模型，可以线性组合形成客户定制的模型，从而实现在低数据情况下减少推断成本，同时提高参数效率和鲁棒性。

    Apr, 2023

  • 联邦学习的个性化解缠

    本文提出了一种通过将潜在表示明确分离成两部分来更好地处理个性化联邦学习的方法，并使用一种新颖的联邦双重变分自编码器（FedDVA）实现了解缠结，从而更好地平衡跨客户的知识共享和模型个性化，从而提高了 PFL 的可靠性和效果。

    Jun, 2023

  • FediOS: 在特征不平衡联邦学习中解耦正交子空间实现个性化

    个性化联邦学习（pFL）通过协同训练多个客户端来增强定制本地模型的能力。本文提出了一种名为 FediOS 的有效 pFL 方法，通过重新设计特征偏斜 pFL 的架构解耦设计，将模型分为两个特征提取器（通用和个性化）和一个共享预测头。通过正交投影将通用特征映射到一个公共子空间，并将个性化特征分散到不同的子空间以实现解耦。此外，在推理过程中，还训练了一个共享预测头来平衡通用特征和个性化特征的重要性。四个视觉数据集上的广泛实验证明了我们的方法在特征偏斜异质性下达到了最先进的 pFL 性能。

    Nov, 2023