Apr, 2024
MixLoRA:基于 LoRA 的专家混合大语言模型微调增强
MixLoRA: Enhancing Large Language Models Fine-Tuning with LoRA based Mixture of Experts
Dengchun Li, Yingzi Ma, Naizheng Wang, Zhiyuan Cheng, Lei Duan...
TL;DR提出了一种基于 LoRA 的资源高效稀疏 MoE 模型构建方法,名为 MixLoRA,能够在消费级 GPU 上实现多个专家模型的并行微调,减少了 GPU 内存消耗 41% 和训练过程中的延迟 17%。