Aug, 2023

具有自适应个性化层的联邦分阶段解耦

PDF
TL;DR我们介绍了一种名为 FedTSDP 的两阶段解耦式联邦学习算法，其中根据推理输出和模型权重两次进行客户端聚类。采用了修正的 Hopkins 采样来确定聚类的适时，并且使用公共未标记数据的采样权重。此外，我们开发了一种简单但有效的方法，根据不同程度的数据倾斜自适应调整个性化层。实验结果表明，我们提出的方法在 IID 和非 IID 场景下具有可靠的性能。
federated learningclusteringhomogeneous clientsdecoupling federated learningadaptive personalization layers
发现论文，激发创造
  • 在个性化层上进行联合学习

    本文介绍了 FedPer，一种基本 + 个性化层式的联邦深度前馈神经网络训练方法，旨在对抗数据异质性的负面影响，提升联邦学习的训练效果。FedPer 的有效性在 CIFAR 数据集和 Flickr 个性化图像美学数据集上得到了证明。

    Dec, 2019

  • 联邦学习的个性化技术综述

    本文调查了针对非独立同分布数据的个性化联邦学习的研究，此技术可让多方参与联合学习，从而达到隐私保护的目的。

    Mar, 2020

  • 分布式个性化在线联邦学习

    我们提出了一个新的去中心化个性化在线联邦学习设置，用于在在线环境中学习，在每个客户端上学习个性化模型，并在去中心化环境中学习。我们解决了两个技术挑战：如何通过优化本地模型的性能来聚合来自邻近客户端的共享模型参数，并通过学习的聚合权重选择最有帮助的邻居减少通信成本。

    Nov, 2023

  • 关于连接通用型和个性化联邦学习用于图像分类

    本文提出一种新型联邦学习框架，名为 Fed-RoD，它通过解耦模型的双重任务，即引入一族能够应对不同问题数据分布的损失函数，并将个性化预测器作为一个轻量级的自适应模块，使学习模型同时实现了最先进的通用和个性化的性能表现。

    Jul, 2021

  • 基于特征融合的个性化联邦学习

    本研究讨论了联邦学习中的数据异质性问题，并提出了一种个性化的联邦学习方法，名为 pFedPM，通过特征上传来减少通信成本和允许异构客户端模型，实验证明该方法在 MNIST、FEMNIST 和 CRIFAR10 数据集上的通信效率优于其他联邦学习方法。

    Jun, 2024

  • 可证明的个性化和强健联邦学习

    本文提出采用简单的基于阈值的聚类算法以及本地客户端梯度的方法来解决联邦学习个性化问题，在保证最优收敛保障的同时，算法具有健壮性。

    Jun, 2023

  • 基于聚类的动态图传播重新思考个性化联邦学习

    提出了一个简单而有效的个性化联邦学习框架，通过将客户端分组为多个集群并基于服务器端的模型训练状态和数据分布构建连接集群的图，使用加权边更新节点的模型参数，然后设计了一种精确的个性化模型分配策略，以允许客户端从服务器端获取最合适的模型。在三个图像基准数据集和三种类型的合成结构化数据集上进行了实验，实验结果证明了该方法的有效性。

    Jan, 2024

  • 因子辅助的个性化异构数据联邦学习优化

    Federated learning aims to protect data privacy, and this paper proposes FedSplit, a personalized federated learning framework addressing the challenge of data heterogeneity by splitting hidden elements into shared and personalized groups, optimizing with a novel objective function. Additionally, factor analysis is introduced to decouple hidden elements, resulting in a practically implemented model referred to as FedFac, which demonstrates superior prediction performance compared to other state-of-the-art federated learning methods on real datasets.

    Dec, 2023

  • FedPH: 增强隐私的异构联邦学习

    提出一种新的联邦学习方法，利用预训练模型作为本地模型的骨架，使用完全连接的层组成头部来解决客户端数据分布和计算资源不同的问题，在客户端之间共享类别的嵌入向量，采用加噪声的隐私保护混合方法来保护隐私，最后在自建车辆数据集上进行全面评估。

    Jan, 2023

  • UPFL：面向新客户的无监督个性化联邦学习

    在个性化联邦学习领域，当一个联邦模型已经训练和部署，并且有一个未标记的新客户端加入时，为新客户端提供个性化模型是一个极具挑战性的任务。本文针对这一挑战，将自适应风险最小化技术扩展到无监督个性化联邦学习设置中，并提出我们的方法 FedTTA。我们通过使用代理正则化和熵提前停止调整来改进 FedTTA，进而提出了两种简单而有效的优化策略。此外，我们还针对 FedTTA 设计了一种专门的知识蒸馏损失，以解决设备异构性问题。针对十一个基准测试，通过对五个数据集进行大量实验，证明了我们提出的 FedTTA 及其变种的有效性。

    Jul, 2023