Jul, 2024
大型语言模型的LoRA调查
A Survey on LoRA of Large Language Models
TL;DR对于Low-Rank Adaptation(LoRA),其通过更新神经网络层中的可插拔低秩矩阵来实现参数高效调整,这是最好的效果之一。此外,它在跨任务泛化和隐私保护方面具有显著优势。因此,近年来LoRA引起了广泛关注,并且相关文献数量呈指数增长。有必要对当前LoRA进展进行全面概述。本调查从以下角度对其进展进行分类和审查:(1)改进下游适应性方法以提高LoRA在下游任务上的性能;(2)交叉任务泛化方法将多个LoRA插件混合使用以实现交叉任务泛化;(3)提高计算效率的方法,以提升LoRA的计算效率;(4)在联邦学习中使用LoRA的数据隐私保护方法;(5)应用领域。此外,本调查还讨论了该领域的未来发展方向。