Jul, 2024

大型语言模型的LoRA调查

HTML
PDF
TL;DR对于Low-Rank Adaptation（LoRA），其通过更新神经网络层中的可插拔低秩矩阵来实现参数高效调整，这是最好的效果之一。此外，它在跨任务泛化和隐私保护方面具有显著优势。因此，近年来LoRA引起了广泛关注，并且相关文献数量呈指数增长。有必要对当前LoRA进展进行全面概述。本调查从以下角度对其进展进行分类和审查：（1）改进下游适应性方法以提高LoRA在下游任务上的性能；（2）交叉任务泛化方法将多个LoRA插件混合使用以实现交叉任务泛化；（3）提高计算效率的方法，以提升LoRA的计算效率；（4）在联邦学习中使用LoRA的数据隐私保护方法；（5）应用领域。此外，本调查还讨论了该领域的未来发展方向。
发现论文，激发创造
  • LoRA: 大型语言模型的低秩适应

    本文提出了一种低秩适应方法（Low-Rank Adaptation，简称LoRA），通过将可训练秩分解矩阵注入变压器结构的每个层中，极大地减少了下游任务中的可训练参数，并且性能与微调相当或更好，同时具有更高的训练吞吐量和没有额外推理延迟，这解决了大规模预训练模型对于微调参数和GPU内存占用过高的问题。

    Jun, 2021

  • LoRA-FA: 内存高效的大语言模型低秩适应微调

    LoRA-FA采用低内存量的权重更新方式，用于大型语言模型的微调，具有接近完整参数微调的准确性，降低了内存使用，技术优化了LoRA。

    Aug, 2023

  • 低秩适应的表达能力

    使用低秩适应（LoRA）参数有效的微调方法，通过分析其表达能力和近似误差，证明了LoRA方法能够将预训练模型适应到较小目标模型，并适用于全连接神经网络和Transformer网络。

    Oct, 2023

  • 稀疏低秩的预训练语言模型适应

    在对大规模预训练语言模型进行提升调优的过程中，我们通过引入稀疏低秩适应性的创新方法（SoRA），使得适应过程中能够动态地调整内在秩，从而提高LoRA的表现能力，同时通过更新稀疏方式高效地控制参数数量。实验结果表明，SoRA在保留70%参数和训练时间的情况下，能够胜过其他基准模型。

    Nov, 2023

  • 基于输出评估的高效LoRA参数剪枝技术

    通过分析LoRA的输出来评估参数的重要性，我们提出了LoRA-drop方法，对于重要层保留原有参数，而对其他层则共享同一组参数。大量的NLU和NLG任务实验证明了LoRA-drop的有效性。

    Feb, 2024

  • LoRA+：大型模型的高效低秩自适应

    通过设置适当的比率为LoRA适配器矩阵A和B设置不同的学习率，我们提出了一种名为LoRA$+$的算法，解决了LoRA的次优问题同时提高了性能（1-2％改进）和微调速度（最高约2倍速度提升）的问题。

    Feb, 2024

  • 隐私保护联邦学习中LoRA的改进

    在隐私保护联邦学习中，本文提出了一种高效且有效的低秩适应方法 FFA-LoRA，通过固定非零矩阵并仅微调零矩阵，缓解了数据异构性、差分隐私增强噪声放大以及超参数敏感性等挑战，同时将通信成本减半，并在各种联邦学习任务中展现了更一致的性能和更好的计算效率。

    Mar, 2024

  • LoRA 学习更少，遗忘更少

    通过在编程和数学这两个目标领域上比较 Low-Rank Adaptation (LoRA) 和全精调 (full finetuning) 的性能，我们发现在大多数情况下，LoRA的表现明显逊于全精调；然而，LoRA展现了一种理想的正则化形式，并且可以更好地保持基础模型在目标领域之外的任务表现，同时比传统技术如权重衰减和dropout提供了更强的正则化效果，并有助于生成更多样化的结果。我们还发现全精调学习到的扰动比典型LoRA配置的秩高10-100倍，这可能解释了一些报告中的差距。最后，我们提出了在使用LoRA进行精调时的最佳实践建议。

    May, 2024

  • LoRA-GA：基于梯度近似的低秩适应

    LoRA-GA通过引入一种新的初始化方法，即梯度近似初始化（Low Rank Adaptation with Gradient Approximation），能够在保持效率和性能的同时达到与完全微调相当的收敛速度，进而显著提高模型性能和收敛速度。

    Jul, 2024

  • 大规模模型的参数效率和泛化能力增强：一种正则化和遮蔽低秩适应方法

    通过研究矩阵更新的内在维度，揭示了提高内在维度在降低资源消耗、优化性能方面的潜在好处，并通过正则化和梯度屏蔽方法设计了Regularized and Masked LoRA (RM-LoRA)方法，相对于原始的LoRA方法和其最新变体，在各种开源视觉和语言数据集上实现了卓越的泛化性能。

    Jul, 2024