UPFL：面向新客户的无监督个性化联邦学习

Jul, 2023

UPFL：面向新客户的无监督个性化联邦学习

UPFL: Unsupervised Personalized Federated Learning towards New Clients

Tiandi Ye, Cen Chen, Yinggui Wang, Xiang Li, Ming Gao

TL;DR在个性化联邦学习领域，当一个联邦模型已经训练和部署，并且有一个未标记的新客户端加入时，为新客户端提供个性化模型是一个极具挑战性的任务。本文针对这一挑战，将自适应风险最小化技术扩展到无监督个性化联邦学习设置中，并提出我们的方法 FedTTA。我们通过使用代理正则化和熵提前停止调整来改进 FedTTA，进而提出了两种简单而有效的优化策略。此外，我们还针对 FedTTA 设计了一种专门的知识蒸馏损失，以解决设备异构性问题。针对十一个基准测试，通过对五个数据集进行大量实验，证明了我们提出的 FedTTA 及其变种的有效性。

Abstract

personalized federated learning has gained significant attention as a promising approach to address the challenge of data heterogeneity. In this paper, we address a relatively unexplored problem in federated learning. When a federated model has been trained and deployed, and an unlabel

personalized federated learning adaptive risk minimization unsupervised personalized federated learning proxy regularization knowledge distillation loss

发现论文，激发创造

个性化联邦学习中的所需学习内容

个性化联邦学习中的数据异质性是一个重要问题，目前的方法未能根据每个本地客户端的数据特征定制合作方式，导致聚合结果不理想。为解决这一问题，我们提出了一种基于算法展开的个性化联邦学习框架 Learn2pFed，使每个客户端能够自适应地选择其本地模型参数中应参与协作训练的部分。Learn2pFed 的关键创新之处在于通过算法展开方法，将每个本地模型参数的参与程度作为可学习参数进行优化。实验证明 Learn2pFed 在回归、预测和图像分类等多个任务中显著优于以往的个性化联邦学习方法。

Jan, 2024

PFA：隐私保护联邦适应以实现模型有效个性化

本文介绍了一种名为 PFA 的新框架，旨在以联邦方式实现更好的个性化结果。PFA 利用神经网络的稀疏性生成隐私保护表示，并使用这些表示来高效识别具有相似数据分布的客户端，从而进行分组并在联邦模型上进行群体式联邦学习来完成自适应过程。该框架能够保障客户端隐私，并在多个 FL 数据集上通过实验证明了其有效性和优越性。

Mar, 2021

自适应测试时个性化的联邦学习

通过自适应学习算法（ATP）从分布变化中学习模型适应速率，测试时间个性化联合学习（TTPFL）方法优于传统的测试时间适应方法（TTA），适用于处理各种分布变化的数据集和模型架构。

Oct, 2023

具有自适应个性化层的联邦分阶段解耦

我们介绍了一种名为 FedTSDP 的两阶段解耦式联邦学习算法，其中根据推理输出和模型权重两次进行客户端聚类。采用了修正的 Hopkins 采样来确定聚类的适时，并且使用公共未标记数据的采样权重。此外，我们开发了一种简单但有效的方法，根据不同程度的数据倾斜自适应调整个性化层。实验结果表明，我们提出的方法在 IID 和非 IID 场景下具有可靠的性能。

Aug, 2023

基于特征融合的个性化联邦学习

本研究讨论了联邦学习中的数据异质性问题，并提出了一种个性化的联邦学习方法，名为 pFedPM，通过特征上传来减少通信成本和允许异构客户端模型，实验证明该方法在 MNIST、FEMNIST 和 CRIFAR10 数据集上的通信效率优于其他联邦学习方法。

Jun, 2024

仅使用未标记数据的联邦学习与条件共享客户端

本文介绍未监督联邦学习，通过共享客户拥有的未标记数据的条件分布，移动类先验概率，并将客户拥有的未标记数据转换为每个客户的替代标记数据，从而在联邦学习中实现模型的共享，即联邦未监督学习（FedUL）模型。FedUL 是通用的未监督联邦学习解决方案，可兼容许多监督 FL 方法，实验结果表明了 FedUL 的有效性。

Apr, 2022

个性化联邦学习与一阶模型优化

本文提出了一种个性化的联邦学习方法，通过每个客户只与相关客户联合训练模型，实现客户自定义目标分布的最优加权模型组合，且不需要知道任何数据分布或客户相似性的先验知识，该方法在多个联邦学习场景和数据集下表现优异，同时也支持个性化的迁移学习。

Dec, 2020

分布式个性化在线联邦学习

我们提出了一个新的去中心化个性化在线联邦学习设置，用于在在线环境中学习，在每个客户端上学习个性化模型，并在去中心化环境中学习。我们解决了两个技术挑战：如何通过优化本地模型的性能来聚合来自邻近客户端的共享模型参数，并通过学习的聚合权重选择最有帮助的邻居减少通信成本。

Nov, 2023

本地注意力的个性化联邦学习

在联邦学习中，为了解决不同客户端的局部数据异构性所带来的性能下降问题，提出了一种名为 pFedLA 的简单而有效的算法，该算法通过将关注机制纳入客户端的个性化模型，并保持关注块客户化，从而在任何联邦学习方法中提高其性能。

Apr, 2023

FedPop：个性化联邦学习的贝叶斯方法

本文提出 FedPop 方法，将个性化联邦学习重新定义为种群建模范式，利用群体参数和随机效应解释数据异质性，并通过马尔科夫链蒙特卡洛方法引入新类联邦随机优化算法提供不确定性量化，从而满足新客户、小观测样本数据的实时学习需求。

Jun, 2022