LoRA 专家混合模型
提出了一种基于 LoRA 的资源高效稀疏 MoE 模型构建方法,名为 MixLoRA,能够在消费级 GPU 上实现多个专家模型的并行微调,减少了 GPU 内存消耗 41% 和训练过程中的延迟 17%。
Apr, 2024
在多领域图像 - 文本指导数据上进行指导微调是获取多功能多模态大型语言模型(MLLM)的关键,通过创建一组 MLP 层的 LoRA 专家,通过路由函数将每个令牌路由到最佳专家,以适应来自不同领域的令牌的自适应选择,从而解决了多领域指导数据的数据冲突问题,并在混合数据集上获得了持续的性能提升。
Jan, 2024
Retrieval-Augmented Mixture of LoRA Experts (RAMoLE) is a framework that adaptively retrieves and composes multiple LoRAs to improve large language models through Uploadable Machine Learning, consistently outperforming baselines.
Jun, 2024
使用 Mixture-of-LoRAs (MoA) 架构的多任务学习方法,通过培训多个领域特定的 LoRA 模块,采用明确的路由策略和领域标签来防止任务之间的干扰,并最终提高每个个体任务的性能,进而促进领域特定大语言模型(LLMs)的广泛应用。
Mar, 2024
研究提出了一种新颖的参数高效的 MoE 方法,称为 MoLA,适用于基于 Transformer 的模型,通过为每个模型层分配不同数量的 LoRA 专家,该方法在六个著名的 NLP 和常识 QA 基准上展示了与基线相当或更好的性能,该工作可以作为各种应用的即插即用的参数高效调优方法。
Feb, 2024
利用对比学习以鼓励专家学习不同特征的方式,我们介绍了一种新的参数效率微调方法 MoELoRA,它在数学推理和常识推理基准测试中表现显著优于 LoRA 和 GPT-3.5。
Feb, 2024
AdaMoLE 是一种通过自适应混合低秩适应(LoRA)专家的方法,用于对大型语言模型(LLMs)进行精细调节。它通过使用专用阈值网络来动态调整激活阈值,从而对不同任务的变化复杂性进行自适应响应。通过将单个 LoRA 替换为多个 LoRA 专家,并将门控函数与阈值机制集成,AdaMoLE 可以有效地选择和激活最合适的专家。通过在多种常识推理和自然语言处理任务上进行广泛评估,我们发现 AdaMoLE 的性能优于基准性能。这种改进突出了 AdaMoLE 自适应选择 LoRA 专家的优势,提高了模型的有效性而不增加专家数量。实验证实了 AdaMoLE 作为增强 LLMs 的强大方法,并且对于自适应专家选择机制的未来研究提出了有价值的方向,潜在地扩大了优化模型性能在不同语言处理任务中的范围。
May, 2024
通过与多模态指令调优相结合,引入了一种综合了条件的低秩适应矩阵 (MixLoRA) 的新方法,旨在减轻任务干扰,实现在多样的多模态任务中具有良好的适应性和灵活性。实验结果表明,MixLoRA 不仅在相同或更高秩的情况下胜过传统的低秩适应方法 LoRA,展现出其在各种多模态评估数据集上的有效性和适应性。
Feb, 2024
在本研究中,我们介绍了 extbf {MT-LoRA}(多任务嵌入 LoRA),这是一个可扩展的多知识 LoRA 融合框架,旨在用于大型语言模型(LLMs)。MT-LoRA 通过混合专家(MoE)的方式将各种 LoRA 适配器集成到基本 LLM 中,使模型能够根据任务输入自动选择最相关的适配器,从而显著增强了 LLM 处理复合任务的能力。我们的评估表明,通过 MT-LoRA 装备的基本模型在解决十个问题的组合任务时,仅需一次推理过程,比单独适配器获得更好的性能,并突出了 MT-LoRA 嵌入 LLMs 中的及时目标切换能力。
May, 2024
使用动态融合权重的 LoRA-Flow 方法在六个生成任务中实验证明,相较于基准方法的任务级融合权重,我们的方法始终表现优异,强调了引入动态融合权重对于 LoRA 组合的必要性。
Feb, 2024