Dec, 2023

平衡之艺：革新专家混合以保持语言模型对世界知识的对齐

PDF
TL;DRLoRAMoE 是一种基于插件形式的专家混合模型，通过冻结骨干模型在训练阶段保证了模型中存储的世界知识的完整性；利用局部平衡约束来均衡任务利用，同时有效发挥其他专家对模型中存储的世界知识的作用。实验证明，LoRAMoE 能在推理过程中合理协调专家，即使加大指导数据规模也不会导致知识遗忘；此外，LoRAMoE 对于下游任务的性能提供了额外的优势，显示了我们方法在多任务学习方面的潜力。
supervised fine-tuninglarge language modelsloramoeworld knowledge forgettingmulti-task learning
发现论文，激发创造
  • MoELoRA: 基于对比学习引导的专家混合模型在大型语言模型的参数高效微调中的应用

    利用对比学习以鼓励专家学习不同特征的方式，我们介绍了一种新的参数效率微调方法 MoELoRA，它在数学推理和常识推理基准测试中表现显著优于 LoRA 和 GPT-3.5。

    Feb, 2024

  • 技能混合：学习为优化大型语言模型的数据使用进行微调

    我们提出了一种通用的、模型无关的强化学习框架 Mixture-of-Skills (MoS)，它能在微调过程中自动优化数据使用，以实现大型语言模型的全面技能发展。我们通过在两个广泛使用的基准测试上进行大量实验证明 MoS 显著提高了模型性能，同时在任务特定微调方面，我们提出了一种适应性技术 MoSpec，为特定目的利用各种数据集的效用。我们的工作强调了数据集的再平衡的重要性，并将 MoS 提出为优化大型语言模型微调过程中数据使用的强大通用解决方案。

    Jun, 2024

  • 用于参数高效微调的直觉感知的一级专家的混合模型

    多任务场景下，大型语言模型（LLMs）面临着适应性挑战，而《混合专家模型》（MoE）以其稀疏架构有效地解耦任务而成为一种有希望的解决方案。本研究设计了一种模仿人类大脑的新框架《Intuition-MoR1E》，利用实例的内在语义聚类处理多任务情境，为优化特征分配提供了隐含指导。此外，引入了先进的《Rank-1 专家公式》来管理一系列直觉，在多任务 LLM 微调中表现出增强的参数效率和效果。广泛的实验证明，《Intuition-MoR1E》在 14 个公共数据集上相对于其他最先进方法具备更高的效率和 2.15％的整体准确度提升。

    Apr, 2024

  • MixLoRA：基于 LoRA 的专家混合大语言模型微调增强

    提出了一种基于 LoRA 的资源高效稀疏 MoE 模型构建方法，名为 MixLoRA，能够在消费级 GPU 上实现多个专家模型的并行微调，减少了 GPU 内存消耗 41% 和训练过程中的延迟 17%。

    Apr, 2024

  • LoRA 专家混合模型

    引入了 Mixture of LoRA Experts (MoLE) 方法，利用分层控制和无限制的分支选择，实现了对 LoRA 的优化融合性能和弹性组合能力的提升。通过在自然语言处理（NLP）和视觉与语言（V&L）领域进行广泛的实验评估，证实了 MoLE 的有效性。

    Apr, 2024

  • 用于可上传机器学习的检索增强的混合 LoRA 专家

    Retrieval-Augmented Mixture of LoRA Experts (RAMoLE) is a framework that adaptively retrieves and composes multiple LoRAs to improve large language models through Uploadable Machine Learning, consistently outperforming baselines.

    Jun, 2024

  • Octavius: 通过 MoE 减少 MLLMs 的任务干扰

    通过介绍新颖且可扩展的框架 LaRA-MoE，本研究通过大型语言模型在多模态学习方面的综合研究和实验，展示了在各种二维和三维下游任务中设计的开创性的 LoRA-MoE 解码器的有效性和多样性（提升约 20%），以及更多其他模态和任务的导入在性能上可能引起的负面冲突和干扰。

    Nov, 2023

  • Omni-SMoLA：用软混合低秩专家提升通用多模态模型

    使用 Omni-SMoLA 结构及 Soft MoE 方法，在大规模多模态模型上实现了性能提升，广泛应用于生成式视觉与语言任务中，达到最新的至顶性能水平。

    Dec, 2023

  • 稀疏专家混合下的视觉语言模型扩展

    本研究探讨了使用稀疏门控专家组技术解决大规模视觉语言模型训练中的挑战，并在等效计算成本下实现最先进性能的潜力，通过稀疏门控专家组对模型解释性的影响及其与 VLM 扩展计算性能之间的折衷，本文为大规模视觉语言模型的扩展提供了宝贵的洞见，并希望能够激发对 MoE 在其他多模态机器学习应用中的研究。

    Mar, 2023

  • DMoERM：混合专家模型的有效奖励建模方法

    通过在奖励模型中引入 Mixture-of-Experts (MoE) 思想，我们提出了一种新的 Double-Layer MoE RM (DMoERM) 模型，该模型在任务分类和能力维度上的精细调优方面表现出卓越的性能，并超越了先进的生成方法。

    Mar, 2024