May, 2024

构建和重用 LoRAs 库以实现模块化 LLMs

PDF
TL;DR通过研究不同任务的共享参数模型训练器的可重复使用性，我们调研了如何根据多任务数据构建最佳适配器库，并设计了通过库中的路由进行零样本和监督任务泛化的技术。我们对构建适配器库的现有方法进行了基准测试，并引入了基于模型的聚类方法 MBC，通过间接优化跨多任务数据集的传输来分组任务。为了重复使用该库，我们提出了一种新颖的零样本路由机制 Arrow，它能够动态选择最相关的适配器用于新的输入，无需重新训练。我们在多种大型语言模型（LLMs），如 Phi-2 和 Mistral 上进行了实验，针对大量保留任务验证了基于 MBC 的适配器和 Arrow 路由在新任务的泛化性上的卓越表现。我们迈出了创建模块化、适应性强、能够与传统联合训练不相上下甚至超越的 LLMs 的步伐。
发现论文，激发创造
  • LoRA-Switch: 动态 LLM 适配器的系统算法协同优化

    在这篇论文中，我们提出了 LoRA-Switch，这是一种用于高效动态适配器的系统算法协同设计架构。通过在推理过程中优化了 CUDA 内核并融合了所有 LoRA 适配器的合并操作，我们的方法在保持了现有动态适配器类似准确性提升的同时，将解码延迟缩短了大于 2.4 倍。

    May, 2024

  • LoRA 适配器的令牌级适应性对下游任务的概括

    该论文介绍了一种方法，用于将 LoRA 适配器适应于任意下游任务的小型语言模型。与标准的专家混合结构不同，我们的方法使用无梯度路由函数来选择加权组合的专家，而不会增加训练或推断的计算要求。结果表明，LoRA 适配器的标记级适应性在数学（GSM8K）、科学（ARC-Challenge）、阅读理解（SQuAD）和编码（CodeAlpaca-20k）任务中优于基础的 Llama-2-7b 模型。进一步评估还表明，标记级适应性的平均性能优于为每个任务微调的单个模型，推断过程中每隔一个标记适应性的表现最佳。本研究的代码通过公共代码库提供。

    Nov, 2023

  • 使用任务适配器混合来提升小型语言模型的多任务学习能力

    ALTER 是一个基于小型语言模型的多任务学习系统，它通过混合任务适应器来同时处理多个自然语言处理任务，以支持领域特定的应用。实验证明，ALTER 提出的 MTA 架构和二阶段训练方法实现了良好的性能。

    Sep, 2023

  • MoRAL: MoE 展进 LoRA 用于 LLMs 的终身学习

    提出了一种结合 Mixture-of-Experts 和 Low-Rank Adaptation 的方法 MoRAL，用于有效地进行大型语言模型的终身学习，使用问题 - 答案对作为输入以提高鲁棒性和效率，并通过新的评估基准和指标对其进行了全面评估。

    Feb, 2024

  • 通过适配器在知识图谱上将多语言 LLMs 调整为资源不足的语言

    该研究探讨了将语义本体中的图谱知识整合到多语言大型语言模型中，通过适配器提高低资源语言在情感分析和命名实体识别中的性能，对八种低资源语言进行了实证评估，提供了适应低资源情景的语言模型优势的见解。

    Jul, 2024

  • RouteLLM：利用偏好数据学习路由 LLMs

    我们提出了几种高效路由器模型，它们在推理过程中动态选择更强大或更弱的大型语言模型，以实现成本和响应质量的平衡。通过人类偏好数据和数据增强技术，我们开发了一个训练框架来提高性能。在广泛认可的基准测试上的评估结果表明，我们的方法显著降低了成本，在某些情况下超过了 2 倍，同时不影响响应质量。有趣的是，我们的路由器模型还展示了显著的迁移学习能力，在测试时即使更改了强大和弱模型也能保持其性能。这突显了这些路由器为部署大型语言模型提供了成本效益和高性能的解决方案的潜力。

    Jun, 2024

  • LoraHub: 动态 LoRA 组合实现高效的跨任务泛化

    LoRAHub 是一个用于组合多个训练在不同任务上的 LoRA 模块的战略性框架，旨在实现在未知任务上的适应性性能，可以有效地模拟在少样本情况下的上下文学习表现，无需上下文示例。

    Jul, 2023

  • 用于可上传机器学习的检索增强的混合 LoRA 专家

    Retrieval-Augmented Mixture of LoRA Experts (RAMoLE) is a framework that adaptively retrieves and composes multiple LoRAs to improve large language models through Uploadable Machine Learning, consistently outperforming baselines.

    Jun, 2024

  • MeteoRA: 用于大型语言模型的嵌入式 LoRA 多任务系统

    在本研究中，我们介绍了 extbf {MT-LoRA}（多任务嵌入 LoRA），这是一个可扩展的多知识 LoRA 融合框架，旨在用于大型语言模型（LLMs）。MT-LoRA 通过混合专家（MoE）的方式将各种 LoRA 适配器集成到基本 LLM 中，使模型能够根据任务输入自动选择最相关的适配器，从而显著增强了 LLM 处理复合任务的能力。我们的评估表明，通过 MT-LoRA 装备的基本模型在解决十个问题的组合任务时，仅需一次推理过程，比单独适配器获得更好的性能，并突出了 MT-LoRA 嵌入 LLMs 中的及时目标切换能力。

    May, 2024

  • 混合 LoRA：大型语言模型的高效多任务调优

    使用 Mixture-of-LoRAs (MoA) 架构的多任务学习方法，通过培训多个领域特定的 LoRA 模块，采用明确的路由策略和领域标签来防止任务之间的干扰，并最终提高每个个体任务的性能，进而促进领域特定大语言模型（LLMs）的广泛应用。

    Mar, 2024