异构语言任务和客户资源下的分布式大型语言模型微调

Feb, 2024

异构语言任务和客户资源下的分布式大型语言模型微调

Federated Fine-tuning of Large Language Models under Heterogeneous Language Tasks and Client Resources

Jiamu Bai, Daoyuan Chen, Bingchen Qian, Liuyi Yao, Yaliang Li

TL;DRFlexLoRA 是一种用于 LLM fine-tuning 的聚合方案，通过动态调整本地 LoRA 等级并使用奇异值分解（SVD）进行权重重新分配，充分利用了异构客户端资源。在涉及超过 1,600 个客户端执行多样化的自然语言处理（NLP）任务的实验中，证实了 FlexLoRA 的有效性，联邦全局模型在下游 NLP 任务性能方面平均提高了 3.1%。FlexLoRA 的实用性进一步强调了其与现有的基于 LoRA 的联邦学习方法的无缝集成和理论分析，提供了一种可扩展的、隐私保护的 LLM 联邦调整路径。

Abstract

federated learning (FL) has recently been applied to the parameter-efficient fine-tuning of large language models (LLMs). While promising, it raises significant challenges due to the heterogeneous resources and d

federated learning large language models flexlora aggregation scheme nlp tasks

发现论文，激发创造

FedLoRA：具有 LoRA 调整的异构模型个性化联邦学习

基于 LoRA 调优的计算和通信高效的模型异构个性化联邦学习框架（FedLoRA）为每个联邦学习客户端设计了一个同质化小适配器，从而使得客户端可以在不产生高计算和通信成本的情况下训练异构化的本地模型。FedLoRA 在两个真实数据集上的实验表明，它在测试准确性方面比六种最先进的基准方法表现更好，准确性提高了 1.35%，计算开销减少了 11.81 倍，通信成本降低了 7.41 倍。

Oct, 2023

SLoRA：联邦参数高效微调语言模型

本研究通过探索在语言任务中不同联邦学习设置中应用参数高效微调（PEFT）方法的机会和挑战，提出了一种名为 SLoRA 的方法，通过一种新颖的数据驱动初始化技术来克服在高异构数据环境中 LoRA 的关键限制，实现与全面微调可比的性能，并以大约 1% 的密度实现显著稀疏更新，同时将训练时间减少高达 90%。

Aug, 2023

SplitLoRA：大型语言模型的分割参数高效微调框架

本研究提出了用于大型语言模型的分割学习框架 SplitLoRA，综合了联邦学习和分割学习的优势，显著提高了训练效率，并通过广泛的模拟验证表明 SplitLoRA 比最先进的模型微调框架在更短的时间内实现了目标精度，展示了 SplitLoRA 的卓越训练性能。

Jul, 2024

差分隐私低秩适应大型语言模型的联邦学习

通过使用 DP-LoRA，这篇文章介绍了一种针对大型语言模型的新的联邦学习算法，旨在确保数据隐私并优化通信效率，以实现严格的隐私约束条件。

Dec, 2023

在最边缘上的 LLM 联邦微调：好，坏，丑陋

通过硬件为中心的方法，本研究探讨了如何将大型语言模型 (LLMs) 应用于现代边缘计算系统，并使用联邦学习 (FL) 对 FLAN-T5 模型家族进行微调，以进行文本摘要任务。通过与数据中心 GPU 的比较，我们评估了边缘计算系统的当前能力以及它们在 LLM FL 工作负载方面的潜力，并展示了在边缘端实现更大计算效率的潜力与下一步的发展方向。

Oct, 2023

大型语言模型的个性化无线联邦学习

基于大型语言模型的联邦学习方法，在无线网络中解决了隐私和安全保护机制不足的问题，并通过两种个性化无线联邦微调方法实现了低通信开销。

Apr, 2024

语义解释的联邦学习：任务设定、评估框架与新算法

本研究提出了使用联邦学习方法训练语义解析模型的新任务，并应用 LOss Reduction Adjusted Re-weighting (Lorar) 机制以减轻数据异质性所引起的性能衰减。通过在三种广泛采用的联邦学习算法（FedAvg，FedOPT 和 FedProx）中应用 Lorar，我们观察到平均性能可以显著提高（在 MacroAvg 下 4％-20％的绝对增益），并且较小的数据集的客户端获得更大的性能提高。

May, 2023

FederatedScope-LLM: 用于联邦学习中大型语言模型微调的综合套件

在联邦学习设置中，本文讨论了联邦微调语言模型 (LLMs) 的挑战，并引入了我们的 FS-LLM 软件包作为主要贡献，该软件包提供了全面的联邦参数高效微调算法实现和通用的编程接口，以实现低通信和计算成本的联邦学习场景。同时，本文进行了大量实验证明了 FS-LLM 的有效性，并为研究社区提供了有关联邦微调语言模型的宝贵见解。

Sep, 2023

联邦大型语言模型：一篇立场论文

提出了联邦式大规模语言模型（LLM）的概念，并讨论了其三个关键组成部分：联邦式 LLM 预训练、联邦式 LLM 微调和联邦式 LLM 提示工程。还探讨了联邦学习和大规模语言模型整合所带来的新挑战，并分析了现有解决方案和潜在障碍。

Jul, 2023

FeDeRA: 在联邦学习中利用权重分解实现语言模型的高效微调

基于预训练语言模型 (PLMs) 的联邦学习 (federated learning) 中，引入参数高效微调 (PEFT) 方法，通过奇异值分解 (SVD) 初始化适配器模块的 FeDeRA，在多个任务和数据集上实验，与全参数微调 (FT) 方法相比，FeDeRA 表现出色，训练时间显著缩短。

Apr, 2024