FL-TAC: 通过低秩、任务特定的适配器聚类增强联邦学习中的微调

Apr, 2024

FL-TAC: 通过低秩、任务特定的适配器聚类增强联邦学习中的微调

FL-TAC: Enhanced Fine-Tuning in Federated Learning via Low-Rank, Task-Specific Adapter Clustering

Siqi Ping, Yuzhu Mao, Yang Liu, Xiao-Ping Zhang, Wenbo Ding

TL;DR通过低秩适配器进行通信开销较小的模型微调以解决大规模预训练模型在联邦学习框架中的高通信成本问题。

Abstract

Although large-scale pre-trained models hold great potential for adapting to downstream tasks through fine-tuning, the performance of such fine-tuned models is often limited by the difficulty of collecting suffic

large-scale pre-trained models fine-tuning federated learning communication overhead low-rank adapter

发现论文，激发创造

FedTune：使用预训练 Transformer 进行高效联邦微调的深入探究

本文研究了如何有效地在联邦学习中使用预训练 Transformer 模型及其微调方法，实验结果表明，微调模型的偏置项是最好的策略，并且使用视觉 - 语言模型会比纯视觉模型的性能更好，且能提高模型精度并减少过拟合问题。

Nov, 2022

当联邦学习遇到预训练语言模型的参数高效调整方法

本文旨在探讨如何在隐私保护的前提下，同时减少通信开销和本地模型适应成本，在联邦学习范式下提高微调预训练语言模型效率和性能，为此我们引入了多种参数节约的微调方法（PETuning），并提供了适用于各种实验条件的实证研究和联邦微调框架 FedPETuning。

Dec, 2022

通过本地适配挽救联合学习

针对联邦学习中参与者局部利益与数据准确度不匹配的问题，本文提出并比较了三种本地适应技术，并指出差分隐私和鲁棒聚合恶化了联邦模型的准确性。这三种技术分别为：微调、多任务学习和知识蒸馏。我们的实验结果表明，所有参与者都从本地适应中受益，并且本地模型表现不佳的参与者通过传统联邦方式得到了大幅提升。

Feb, 2020

FedBiOT: LLM 局部微调的联邦学习无需完整模型

在联邦学习中，我们提出了一种资源高效的大型语言模型细调方法，通过引入压缩模型和适配器的概念，在减少资源消耗的同时实现与全模型可比的性能水平。

Jun, 2024

使用对比学习方法的预训练模型联邦学习

本文提出了一种轻量级框架，使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习；我们设计了一种基于原型的对比学习（FedPCL）方法，以原型为共享信息进行知识传递，从而提高各个客户端利用现有模型的能力并保持通信效率。

Sep, 2022

以通信成本不超过 18 千字节的方式对数十亿级语言模型进行联邦全参数调整

使用零阶优化技术以及一组随机种子，FedKSeed 提出了一种新颖的方法来在设备上直接对十亿级别的预训练大型语言模型进行联邦全参数调整，从而显著减少了服务器和客户端之间的传输需求，并通过策略评估 ZOO 扰动的显著性，提升模型准确度，我们的实验证明该方法在通信效率和新任务泛化方面优于已有的联邦预训练大型语言模型调整方法。

Dec, 2023

大型语言模型的个性化无线联邦学习

基于大型语言模型的联邦学习方法，在无线网络中解决了隐私和安全保护机制不足的问题，并通过两种个性化无线联邦微调方法实现了低通信开销。

Apr, 2024

FedPFT: 基于联邦代理的基础模型迁移微调

通过联邦学习策略对基础模型进行适应性调整，以保护数据隐私和有价值的基础模型，提出了一种新方法 Federated Proxy Fine-Tuning (FedPFT)，通过两个关键模块增强联邦学习下游任务中的基础模型的适应性。实验证据表明 FedPFT 方法的优越性。

Apr, 2024

利用预先训练的模型指导联邦学习中的最后一层

通过使用预训练模型作为初始化点，利用最近类平均法编写分类器和使用两阶段方法进行微调，提高了联邦学习的效率和性能。

Jun, 2023

面向异构客户的个性化联邦学习与聚类知识迁移

本研究提出了一种适用于高度数据和系统异构的个性化联邦学习框架 PerFed-CKT，可使用不同的模型架构，通过簇内共同训练和知识传输来降低通信成本并在测试中获得高精度。

Sep, 2021