COLINGMar, 2024

混合 LoRA：大型语言模型的高效多任务调优

PDF
TL;DR使用 Mixture-of-LoRAs (MoA) 架构的多任务学习方法，通过培训多个领域特定的 LoRA 模块，采用明确的路由策略和领域标签来防止任务之间的干扰，并最终提高每个个体任务的性能，进而促进领域特定大语言模型（LLMs）的广泛应用。
instruction tuningmixture-of-lorasmulti-task learninglora modulesdomain-specific llms
发现论文，激发创造
  • 多模态指令调节与条件化 LoRA 混合

    通过与多模态指令调优相结合，引入了一种综合了条件的低秩适应矩阵 (MixLoRA) 的新方法，旨在减轻任务干扰，实现在多样的多模态任务中具有良好的适应性和灵活性。实验结果表明，MixLoRA 不仅在相同或更高秩的情况下胜过传统的低秩适应方法 LoRA，展现出其在各种多模态评估数据集上的有效性和适应性。

    Feb, 2024

  • MixLoRA：基于 LoRA 的专家混合大语言模型微调增强

    提出了一种基于 LoRA 的资源高效稀疏 MoE 模型构建方法，名为 MixLoRA，能够在消费级 GPU 上实现多个专家模型的并行微调，减少了 GPU 内存消耗 41% 和训练过程中的延迟 17%。

    Apr, 2024

  • LoRA 专家混合模型

    引入了 Mixture of LoRA Experts (MoLE) 方法，利用分层控制和无限制的分支选择，实现了对 LoRA 的优化融合性能和弹性组合能力的提升。通过在自然语言处理（NLP）和视觉与语言（V&L）领域进行广泛的实验评估，证实了 MoLE 的有效性。

    Apr, 2024

  • LLaVA-MoLE：稀疏的 LoRA 专家混合模型用于缓解指令微调 MLLMs 中的数据冲突

    在多领域图像 - 文本指导数据上进行指导微调是获取多功能多模态大型语言模型（MLLM）的关键，通过创建一组 MLP 层的 LoRA 专家，通过路由函数将每个令牌路由到最佳专家，以适应来自不同领域的令牌的自适应选择，从而解决了多领域指导数据的数据冲突问题，并在混合数据集上获得了持续的性能提升。

    Jan, 2024

  • 更高层次需要更多的 LoRA 专家

    研究提出了一种新颖的参数高效的 MoE 方法，称为 MoLA，适用于基于 Transformer 的模型，通过为每个模型层分配不同数量的 LoRA 专家，该方法在六个著名的 NLP 和常识 QA 基准上展示了与基线相当或更好的性能，该工作可以作为各种应用的即插即用的参数高效调优方法。

    Feb, 2024

  • MoRAL: MoE 展进 LoRA 用于 LLMs 的终身学习

    提出了一种结合 Mixture-of-Experts 和 Low-Rank Adaptation 的方法 MoRAL，用于有效地进行大型语言模型的终身学习，使用问题 - 答案对作为输入以提高鲁棒性和效率，并通过新的评估基准和指标对其进行了全面评估。

    Feb, 2024

  • 用于可上传机器学习的检索增强的混合 LoRA 专家

    Retrieval-Augmented Mixture of LoRA Experts (RAMoLE) is a framework that adaptively retrieves and composes multiple LoRAs to improve large language models through Uploadable Machine Learning, consistently outperforming baselines.

    Jun, 2024

  • MeteoRA: 用于大型语言模型的嵌入式 LoRA 多任务系统

    在本研究中，我们介绍了 extbf {MT-LoRA}（多任务嵌入 LoRA），这是一个可扩展的多知识 LoRA 融合框架，旨在用于大型语言模型（LLMs）。MT-LoRA 通过混合专家（MoE）的方式将各种 LoRA 适配器集成到基本 LLM 中，使模型能够根据任务输入自动选择最相关的适配器，从而显著增强了 LLM 处理复合任务的能力。我们的评估表明，通过 MT-LoRA 装备的基本模型在解决十个问题的组合任务时，仅需一次推理过程，比单独适配器获得更好的性能，并突出了 MT-LoRA 嵌入 LLMs 中的及时目标切换能力。

    May, 2024

  • Octavius: 通过 MoE 减少 MLLMs 的任务干扰

    通过介绍新颖且可扩展的框架 LaRA-MoE，本研究通过大型语言模型在多模态学习方面的综合研究和实验，展示了在各种二维和三维下游任务中设计的开创性的 LoRA-MoE 解码器的有效性和多样性（提升约 20%），以及更多其他模态和任务的导入在性能上可能引起的负面冲突和干扰。

    Nov, 2023

  • MoELoRA: 基于对比学习引导的专家混合模型在大型语言模型的参数高效微调中的应用

    利用对比学习以鼓励专家学习不同特征的方式，我们介绍了一种新的参数效率微调方法 MoELoRA，它在数学推理和常识推理基准测试中表现显著优于 LoRA 和 GPT-3.5。

    Feb, 2024