Feb, 2024

参数特征转换：一次联邦学习与基础模型

PDF
TL;DRFedPFT 是一种使用参数特征传输的联邦学习方法，通过转移基础模型的参数模型来增强通信效率和准确性。FedPFT 在集中式和分散式联邦学习场景下的实验结果表明，在不同的数据异质性设置中，如协变量转移和任务转移，在通信准确性前沿方面提供了最高 20.6% 的改进。此外，FedPFT 遵循联邦学习中的数据最小化原则，并通过差分隐私提供了有利的隐私准确性权衡。
one-shot federated learningcommunication efficiencyaccuracyparametric feature transferdifferential privacy
发现论文，激发创造
  • FedPFT: 基于联邦代理的基础模型迁移微调

    通过联邦学习策略对基础模型进行适应性调整，以保护数据隐私和有价值的基础模型，提出了一种新方法 Federated Proxy Fine-Tuning (FedPFT)，通过两个关键模块增强联邦学习下游任务中的基础模型的适应性。实验证据表明 FedPFT 方法的优越性。

    Apr, 2024

  • 基于基础模型的联合生成学习

    本文提出了一种新的联邦生成学习框架，通过在客户端和服务器之间传输与分布式训练数据相关的提示，对信息进行编码和传输，从而综合提高联邦学习的效率和数据隐私性。

    Jun, 2023

  • 面向个性化联邦学习的参数化知识传递

    提出了一个基于个性化模型的联邦学习框架来应对异构模型的限制，并使用参数化群体知识转移训练算法来使客户端间自适应强化协作，从而实现个性化模型训练，并与现有方法进行比较得到显著的性能提升。

    Nov, 2021

  • 基于特征的联邦迁移学习：通信效率、鲁棒性和隐私

    本文提出了基于特征的联邦迁移学习作为一种新方法，通过将上行负载减少数个数量级，改善通信效率，与现有的联邦学习和联邦迁移学习方法相比具有更好的效果。具体而言，在提出的基于特征的联邦学习中，我们设计了要上传的提取特征和输出，而不是参数更新。对于这个分布式学习模型，我们确定了所需的负载，并与现有方案进行了比较。随后，我们分析了基于特征的联邦迁移学习在数据包丢失、数据不足和量化方面的鲁棒性。最后，我们通过定义和分析标签隐私泄露和特征隐私泄露，并研究缓解方法来解决隐私问题。对于所有上述分析，我们通过在图像分类任务和自然语言处理任务上进行实验，评估了提出的学习方案的性能。

    May, 2024

  • 面向异构客户的个性化联邦学习与聚类知识迁移

    本研究提出了一种适用于高度数据和系统异构的个性化联邦学习框架 PerFed-CKT，可使用不同的模型架构，通过簇内共同训练和知识传输来降低通信成本并在测试中获得高精度。

    Sep, 2021

  • 通过联合迁移学习使基础模型根植于实际：一个通用框架

    使用联邦迁移学习来接地基础模型是当前学术界和工业界重要的研究方向，该研究论文介绍了一个联邦迁移学习框架，对最新的研究工作进行了详细分类和综述，提供了高效和隐私保护技术，并探讨了联邦迁移学习未来的机会和研究方向。

    Nov, 2023

  • 利用基础模型改进联邦学习中的轻量级客户端

    通过使用基础模型蒸馏进行联邦训练，提高轻量级客户模型在异构数据环境下的性能，并降低推理成本。

    Nov, 2023

  • 使用对比学习方法的预训练模型联邦学习

    本文提出了一种轻量级框架，使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习；我们设计了一种基于原型的对比学习（FedPCL）方法，以原型为共享信息进行知识传递，从而提高各个客户端利用现有模型的能力并保持通信效率。

    Sep, 2022

  • 联邦基础模型：大型模型的隐私保护和协同学习

    本文介绍了一种结合了联邦学习和基础模型的隐私保存方法，即联邦基础模型，其中涉及该方法的不同方面和任务，以及与传统基础模型的比较和实验。

    May, 2023

  • GPT-FL: 基于生成式预训练模型的联邦学习

    本文提出了一个基于生成式预训练模型辅助联邦学习框架的 GPT-FL 方法，在提高通信效率和客户抽样效率的同时，优化梯度多样性来增强模型收敛速度和提高模型测试准确性。

    Jun, 2023