FedTune：使用预训练 Transformer 进行高效联邦微调的深入探究

Nov, 2022

FedTune：使用预训练 Transformer 进行高效联邦微调的深入探究

FedTune: A Deep Dive into Efficient Federated Fine-Tuning with Pre-trained Transformers

Jinyu Chen, Wenchao Xu, Song Guo, Junxiao Wang, Jie Zhang...

TL;DR本文研究了如何有效地在联邦学习中使用预训练 Transformer 模型及其微调方法，实验结果表明，微调模型的偏置项是最好的策略，并且使用视觉 - 语言模型会比纯视觉模型的性能更好，且能提高模型精度并减少过拟合问题。

Abstract

federated learning (FL) is an emerging paradigm that enables distributed users to collaboratively and iteratively train machine learning models without sharing their private data. Motivated by the effectiveness and robustness of self-attention-based architectures, researchers are turni

federated learning pre-trained transformers fine-tuning convergence rate communication costs

发现论文，激发创造

FedPFT: 基于联邦代理的基础模型迁移微调

通过联邦学习策略对基础模型进行适应性调整，以保护数据隐私和有价值的基础模型，提出了一种新方法 Federated Proxy Fine-Tuning (FedPFT)，通过两个关键模块增强联邦学习下游任务中的基础模型的适应性。实验证据表明 FedPFT 方法的优越性。

Apr, 2024

当联邦学习遇到预训练语言模型的参数高效调整方法

本文旨在探讨如何在隐私保护的前提下，同时减少通信开销和本地模型适应成本，在联邦学习范式下提高微调预训练语言模型效率和性能，为此我们引入了多种参数节约的微调方法（PETuning），并提供了适用于各种实验条件的实证研究和联邦微调框架 FedPETuning。

Dec, 2022

FL-TAC: 通过低秩、任务特定的适配器聚类增强联邦学习中的微调

通过低秩适配器进行通信开销较小的模型微调以解决大规模预训练模型在联邦学习框架中的高通信成本问题。

Apr, 2024

增强大规模异质联邦学习的展望与转换器

分布式数据合作的联邦学习旨在解决数据隐私问题，该研究通过比较实验证明基于 Transformer 的联邦学习模型在大规模异构任务中具有泛化和个性化方面的优势。

Aug, 2023

联邦基础模型：大型模型的隐私保护和协同学习

本文介绍了一种结合了联邦学习和基础模型的隐私保存方法，即联邦基础模型，其中涉及该方法的不同方面和任务，以及与传统基础模型的比较和实验。

May, 2023

利用预先训练的模型指导联邦学习中的最后一层

通过使用预训练模型作为初始化点，利用最近类平均法编写分类器和使用两阶段方法进行微调，提高了联邦学习的效率和性能。

Jun, 2023

FL-Tuning: 基于 Transformer 前馈网络的层调整

本研究提出了一种新型的调参方法，称为层调参，通过在 Transformer 层中添加可学习的参数来调整预训练语言模型，在 CLUE 基准数据集上的实验结果表明，FL-tuning 方法优于现有的 prompt tuning 方法，并且比 fine-tuning 方法更加稳定和快速。

Jun, 2022

具有群组感知提示调整的异构联邦学习

在联邦学习中，我们利用预训练的 Transformer 和高效的提示调整策略，通过引入学习共享和组特定提示的概念，使全局模型能够自动适应各种局部客户数据分布，从而有效地弥合全局和个性化本地模型之间的差距，并超越以往无法适应之前未见客户的其他方法。

Oct, 2023

基于联邦学习的基础模型协同优化：一项综述

基于联邦学习与基础模型的潜力和挑战以及核心技术、未来方向和应用的综述。

Jun, 2024

SLoRA：联邦参数高效微调语言模型

本研究通过探索在语言任务中不同联邦学习设置中应用参数高效微调（PEFT）方法的机会和挑战，提出了一种名为 SLoRA 的方法，通过一种新颖的数据驱动初始化技术来克服在高异构数据环境中 LoRA 的关键限制，实现与全面微调可比的性能，并以大约 1% 的密度实现显著稀疏更新，同时将训练时间减少高达 90%。

Aug, 2023