Nov, 2023

MultiLoRA: 提升多任务学习效果的 LoRA 民主化

TL;DR提出了 MultiLoRA,通过减少 LoRA 中观察到的顶层奇异向量的主导性,通过水平扩展 LoRA 模块和改变适应矩阵的参数初始化来减少参数依赖性,从而产生更平衡的单元子空间,从而实现更好的多任务适应性。MultiLoRA 在多个基准和模型规模上优于单个 LoRA 对应项和微调,仅需额外 2.5%的参数。对 MultiLoRA 的权重更新矩阵进行进一步研究表明,其对顶层奇异向量的依赖性减小,单元变换贡献更加均衡。