FedTP: 基于 Transformer 个性化的联邦学习

Nov, 2022

FedTP: 基于 Transformer 个性化的联邦学习

FedTP: Federated Learning by Transformer Personalization

Hongxia Li, Zhongyi Cai, Jingya Wang, Jiangnan Tang, Weiping Ding...

TL;DR研究探讨联邦平均算法对自注意力的影响，发现数据异构性制约了 Transformer 在联邦学习中的能力，提出一种新的基于 Transformer 的联邦学习框架 FedTP 并引入了学习个性化机制来进一步鼓励合作。实验证明，FedTP 与学习个性化机制具有非 IID 情形下最先进的性能。

Abstract

federated learning is an emerging learning paradigm where multiple clients collaboratively train a machine learning model in a privacy-preserving manner. Personalized federated learning extends this paradigm to o

federated learning personalized federated learning transformers self-attention learn-to-personalize mechanism

发现论文，激发创造

在个性化层上进行联合学习

本文介绍了 FedPer，一种基本 + 个性化层式的联邦深度前馈神经网络训练方法，旨在对抗数据异质性的负面影响，提升联邦学习的训练效果。FedPer 的有效性在 CIFAR 数据集和 Flickr 个性化图像美学数据集上得到了证明。

Dec, 2019

面向联邦学习的数据异构化处理架构设计思考

本文提出使用自注意力机制的神经网络模型（如 Transformer），替代传统的卷积神经网络模型，以改进联邦学习中的模型性能和稳定性，尤其当处理异构数据的时候，可以大大降低模型遗忘和加快模型学习收敛速度。

Jun, 2021

本地注意力的个性化联邦学习

在联邦学习中，为了解决不同客户端的局部数据异构性所带来的性能下降问题，提出了一种名为 pFedLA 的简单而有效的算法，该算法通过将关注机制纳入客户端的个性化模型，并保持关注块客户化，从而在任何联邦学习方法中提高其性能。

Apr, 2023

UPFL：面向新客户的无监督个性化联邦学习

在个性化联邦学习领域，当一个联邦模型已经训练和部署，并且有一个未标记的新客户端加入时，为新客户端提供个性化模型是一个极具挑战性的任务。本文针对这一挑战，将自适应风险最小化技术扩展到无监督个性化联邦学习设置中，并提出我们的方法 FedTTA。我们通过使用代理正则化和熵提前停止调整来改进 FedTTA，进而提出了两种简单而有效的优化策略。此外，我们还针对 FedTTA 设计了一种专门的知识蒸馏损失，以解决设备异构性问题。针对十一个基准测试，通过对五个数据集进行大量实验，证明了我们提出的 FedTTA 及其变种的有效性。

Jul, 2023

FedPC：带有个人和上下文偏好嵌入的联合学习语言生成模型

本文提出了利用个人 embedding 和共享上下文 embedding 的方法来进行联邦学习中的个性化研究，并提出了一种预测 “偏好” embedding 的方法，相对于现有方法在测试时间困惑度方面有 50% 的改进，且消耗的内存和计算量更小。

Oct, 2022

个性化联邦学习中的所需学习内容

个性化联邦学习中的数据异质性是一个重要问题，目前的方法未能根据每个本地客户端的数据特征定制合作方式，导致聚合结果不理想。为解决这一问题，我们提出了一种基于算法展开的个性化联邦学习框架 Learn2pFed，使每个客户端能够自适应地选择其本地模型参数中应参与协作训练的部分。Learn2pFed 的关键创新之处在于通过算法展开方法，将每个本地模型参数的参与程度作为可学习参数进行优化。实验证明 Learn2pFed 在回归、预测和图像分类等多个任务中显著优于以往的个性化联邦学习方法。

Jan, 2024

FedPH: 增强隐私的异构联邦学习

提出一种新的联邦学习方法，利用预训练模型作为本地模型的骨架，使用完全连接的层组成头部来解决客户端数据分布和计算资源不同的问题，在客户端之间共享类别的嵌入向量，采用加噪声的隐私保护混合方法来保护隐私，最后在自建车辆数据集上进行全面评估。

Jan, 2023

基于特征融合的个性化联邦学习

本研究讨论了联邦学习中的数据异质性问题，并提出了一种个性化的联邦学习方法，名为 pFedPM，通过特征上传来减少通信成本和允许异构客户端模型，实验证明该方法在 MNIST、FEMNIST 和 CRIFAR10 数据集上的通信效率优于其他联邦学习方法。

Jun, 2024

FedL2P：个性化联邦学习

该论文研究了联邦学习（FL）的个性化策略问题，并介绍了一种通过元网络（meta-nets）在 FL 网络中学习个性化策略的框架，该框架通过学习元网络的批量归一化和学习率参数来为每个客户端生成定制的个性化策略。实证结果表明，该框架在标签偏移和特征偏移情况下优于多种标准的手工个性化基线方法。

Oct, 2023

具有自适应个性化层的联邦分阶段解耦

我们介绍了一种名为 FedTSDP 的两阶段解耦式联邦学习算法，其中根据推理输出和模型权重两次进行客户端聚类。采用了修正的 Hopkins 采样来确定聚类的适时，并且使用公共未标记数据的采样权重。此外，我们开发了一种简单但有效的方法，根据不同程度的数据倾斜自适应调整个性化层。实验结果表明，我们提出的方法在 IID 和非 IID 场景下具有可靠的性能。

Aug, 2023