Feb, 2024
MoRAL: MoE 展进 LoRA 用于 LLMs 的终身学习
MoRAL: MoE Augmented LoRA for LLMs' Lifelong Learning
Shu Yang, Muhammad Asif Ali, Cheng-Long Wang, Lijie Hu, Di Wang
TL;DR提出了一种结合 Mixture-of-Experts 和 Low-Rank Adaptation 的方法 MoRAL,用于有效地进行大型语言模型的终身学习,使用问题 - 答案对作为输入以提高鲁棒性和效率,并通过新的评估基准和指标对其进行了全面评估。