MeteoRA: 用于大型语言模型的嵌入式 LoRA 多任务系统

May, 2024

MeteoRA: 用于大型语言模型的嵌入式 LoRA 多任务系统

MeteoRA: Multiple-tasks Embedded LoRA for Large Language Models

Jingwei Xu, Junyu Lai, Yunpeng Huang

TL;DR在本研究中，我们介绍了 extbf {MT-LoRA}（多任务嵌入 LoRA），这是一个可扩展的多知识 LoRA 融合框架，旨在用于大型语言模型（LLMs）。MT-LoRA 通过混合专家（MoE）的方式将各种 LoRA 适配器集成到基本 LLM 中，使模型能够根据任务输入自动选择最相关的适配器，从而显著增强了 LLM 处理复合任务的能力。我们的评估表明，通过 MT-LoRA 装备的基本模型在解决十个问题的组合任务时，仅需一次推理过程，比单独适配器获得更好的性能，并突出了 MT-LoRA 嵌入 LLMs 中的及时目标切换能力。

Abstract

The \textit{pretrain+fine-tune} paradigm is foundational in deploying large language models (LLMs) across a diverse range of downstream applications. Among these, low-rank adaptation (lora) stands out for its par

pretrain+fine-tune low-rank adaptation lora adapter composite tasks

发现论文，激发创造

MixLoRA：基于 LoRA 的专家混合大语言模型微调增强

提出了一种基于 LoRA 的资源高效稀疏 MoE 模型构建方法，名为 MixLoRA，能够在消费级 GPU 上实现多个专家模型的并行微调，减少了 GPU 内存消耗 41% 和训练过程中的延迟 17%。

Apr, 2024

MultiLoRA: 提升多任务学习效果的 LoRA 民主化

提出了 MultiLoRA，通过减少 LoRA 中观察到的顶层奇异向量的主导性，通过水平扩展 LoRA 模块和改变适应矩阵的参数初始化来减少参数依赖性，从而产生更平衡的单元子空间，从而实现更好的多任务适应性。MultiLoRA 在多个基准和模型规模上优于单个 LoRA 对应项和微调，仅需额外 2.5％的参数。对 MultiLoRA 的权重更新矩阵进行进一步研究表明，其对顶层奇异向量的依赖性减小，单元变换贡献更加均衡。

Nov, 2023

LoRA Land: 310 微调 LLM 模型媲美 GPT-4 的技术报告

LoRA 是一种使用较少参数和内存的训练方法，研究表明，在低秩适配器的支持下，LoRA fine-tuned 模型在多个任务上表现超过基准模型 34 个百分点和 GPT-4 10 个百分点；此外，他们开发了 LoRAX 多模型推理服务器，支持多个 LoRA fine-tuned 模型在单个 GPU 上运行，以展示使用多个专用 LLM 相对于单个通用 LLM 的质量和成本效益。

Apr, 2024

MoELoRA: 基于对比学习引导的专家混合模型在大型语言模型的参数高效微调中的应用

利用对比学习以鼓励专家学习不同特征的方式，我们介绍了一种新的参数效率微调方法 MoELoRA，它在数学推理和常识推理基准测试中表现显著优于 LoRA 和 GPT-3.5。

Feb, 2024

MTLoRA：一种用于高效多任务学习的低秩适应方法

本文介绍了一种新的多任务学习（MTL）模型的参数有效训练框架 MTLoRA，该框架通过使用任务无关和任务特定的低秩适应模块，在 MTL 微调中有效地解离参数空间，从而使模型能够熟练处理 MTL 环境中的任务专业化和交互，并且在 PASCAL 数据集上的广泛实验表明，MTLoRA 在减少可训练参数数量的同时，比对 MTL 模型进行全面微调在下游任务上具有更高的准确性，同时在准确性和效率方面优于当前最先进的参数有效训练方法。

Mar, 2024

用于参数高效微调的 Mini-Ensemble 低秩适配器

MELoRA 是一种采用较少可训练参数但保持较高秩的迷你低秩适配器，用于针对预训练大型语言模型进行性能优化的方法。实验证明，在自然语言理解和指令跟随任务上，相较于低秩适配器 LoRA，MELoRA 在拥有 8 倍较少可训练参数时表现更好，而在指令跟随任务上拥有 36 倍较少可训练参数时也表现更好，证明了 MELoRA 的有效性。

Feb, 2024

混合 LoRA：大型语言模型的高效多任务调优

使用 Mixture-of-LoRAs (MoA) 架构的多任务学习方法，通过培训多个领域特定的 LoRA 模块，采用明确的路由策略和领域标签来防止任务之间的干扰，并最终提高每个个体任务的性能，进而促进领域特定大语言模型（LLMs）的广泛应用。

Mar, 2024

基于矩阵变换的低秩适应（MTLoRA）：一种启发式的参数高效微调方法

该论文介绍了一种基于大规模预训练语言模型 (LPLMs) 的微调技术，通过矩阵变换的重新参数化方法 (MTLoRA) 在下游任务中提高模型性能，取得了显著的提升。

Mar, 2024

LoRA 专家混合模型

引入了 Mixture of LoRA Experts (MoLE) 方法，利用分层控制和无限制的分支选择，实现了对 LoRA 的优化融合性能和弹性组合能力的提升。通过在自然语言处理（NLP）和视觉与语言（V&L）领域进行广泛的实验评估，证实了 MoLE 的有效性。

Apr, 2024

HydraLoRA：一种用于高效微调的非对称 LoRA 架构

通过一系列实验，我们发现了两个关键的见解，揭示了 LoRA 的训练和参数效率问题，基于这些见解，我们开发了 HydraLoRA，这是一个具有不对称结构的 LoRA 框架，消除了对领域专业知识的需求，我们的实验表明，HydraLoRA 优于其他 PEFT 方法，即使在训练和推断阶段依赖领域知识的情况下。

Apr, 2024