Nov, 2023

FediOS: 在特征不平衡联邦学习中解耦正交子空间实现个性化

PDF
TL;DR个性化联邦学习（pFL）通过协同训练多个客户端来增强定制本地模型的能力。本文提出了一种名为 FediOS 的有效 pFL 方法，通过重新设计特征偏斜 pFL 的架构解耦设计，将模型分为两个特征提取器（通用和个性化）和一个共享预测头。通过正交投影将通用特征映射到一个公共子空间，并将个性化特征分散到不同的子空间以实现解耦。此外，在推理过程中，还训练了一个共享预测头来平衡通用特征和个性化特征的重要性。四个视觉数据集上的广泛实验证明了我们的方法在特征偏斜异质性下达到了最先进的 pFL 性能。
personalized federated learningheterogeneous datadecoupling schemefeature-skew pflfedios
发现论文，激发创造
  • pFedES: 模型异构个性化的联邦学习与特征提取器共享

    提出了基于特征提取器共享的异构个性化联邦学习方法 (pFedES)，该方法在不同客户端的本地模型中引入小型同质特征提取器，通过迭代学习方法进行训练，实现全局泛化知识和本地个性化知识的交换和共享，其理论上证明了 pFedES 能够在墙时收敛。在两个真实数据集上的广泛实验中，与六种最先进的方法相比，pFedES 构建了最准确的模型，同时通信和计算成本较低，与最佳基准相比，测试准确性提高了 1.61%，通信和计算成本分别降低了 99.6% 和 82.9%。

    Nov, 2023

  • 异质特征空间个性化联邦学习

    提出一种名为 FLIC 的通用框架，通过本地嵌入功能将客户端数据映射到公共特征空间，使用 Wasserstein barycenters 学习公共特征空间，通过分布对齐机制将本地嵌入函数集成到联邦学习中，并提供 FLIC 的算法，与涉及异构输入特征空间的 FL 基准进行性能比较，同时提供支持我们方法相关性的理论见解。

    Jan, 2023

  • 低维特征空间内有效个性化联邦学习的实现

    基于低维特征空间的个性化联邦学习（Personalized Federated Learning，PFL）框架，通过选择每个客户端自适应其本地数据分布下全局编码器生成的特征中与任务相关的特征，提供了比参数空间更易理解和解释的 PFL 实现方法。FedPick 在跨领域的联邦学习中能够为每个客户端有效选择与任务相关的特征并提高模型性能。

    Jul, 2023

  • 基于特征融合的个性化联邦学习

    本研究讨论了联邦学习中的数据异质性问题，并提出了一种个性化的联邦学习方法，名为 pFedPM，通过特征上传来减少通信成本和允许异构客户端模型，实验证明该方法在 MNIST、FEMNIST 和 CRIFAR10 数据集上的通信效率优于其他联邦学习方法。

    Jun, 2024

  • 通过加法和低秩分解在联邦学习中解耦通用和个性化知识

    FedDecomp 是一种简单而有效的个性化联邦学习范式，通过参数加法分解来解决数据异构性问题，从而更彻底地解耦共享和个性化知识，实现了比参数划分方法更好的性能。

    Jun, 2024

  • 关于连接通用型和个性化联邦学习用于图像分类

    本文提出一种新型联邦学习框架，名为 Fed-RoD，它通过解耦模型的双重任务，即引入一族能够应对不同问题数据分布的损失函数，并将个性化预测器作为一个轻量级的自适应模块，使学习模型同时实现了最先进的通用和个性化的性能表现。

    Jul, 2021

  • 通过去中心化的部分模型训练实现更适合个性化的联邦学习

    本文提出了一种名为 DFedAlt 的个性化联邦学习框架，采用分散的部分模型训练方法，取得了与目前最先进的基准模型相媲美或更好的状态。该算法通过依次更新共享和个性化参数，在点对点的方式构建局部个性化模型，同时采用局部 SAM（Sharpness Aware Minimization）优化器来更新共享参数，从而有效地解决了模型共享一致性不足和通信成本过高等问题。

    May, 2023

  • 联邦图像分类中个性化的深入研究

    本文提出了一种名为 RepPer 的独立的两阶段个性化联邦学习框架，其中包括非独立同分布数据（Non-IID data）对全局模型的表示学习的危害，并分离了表示学习和分类器学习，从而实现了个性化，并且在各种数据集和异构数据设置上的实验表明，RepPer 在非独立同分布数据上的灵活性和个性化方面优于其他方法。

    Apr, 2022

  • 具有自适应个性化层的联邦分阶段解耦

    我们介绍了一种名为 FedTSDP 的两阶段解耦式联邦学习算法，其中根据推理输出和模型权重两次进行客户端聚类。采用了修正的 Hopkins 采样来确定聚类的适时，并且使用公共未标记数据的采样权重。此外，我们开发了一种简单但有效的方法，根据不同程度的数据倾斜自适应调整个性化层。实验结果表明，我们提出的方法在 IID 和非 IID 场景下具有可靠的性能。

    Aug, 2023

  • 自适应专家模型用于联邦学习中的个性化

    该研究提出了一种针对非 IID 数据的个性化联邦学习方法，使用专家混合模型来学习相似的客户，即使在病理性非 IID 环境中，我们的方法仍然能够比本地模型获得高达 4.38％的精度优势。

    Jun, 2022