本文提出了一种低秩适应方法（Low-Rank Adaptation，简称LoRA），通过将可训练秩分解矩阵注入变压器结构的每个层中，极大地减少了下游任务中的可训练参数，并且性能与微调相当或更好，同时具有更高的训练吞吐量和没有额外推理延迟，这解决了大规模预训练模型对于微调参数和GPU内存占用过高的问题。

Jun, 2021

LoRA-FA采用低内存量的权重更新方式，用于大型语言模型的微调，具有接近完整参数微调的准确性，降低了内存使用，技术优化了LoRA。

Aug, 2023

本文介绍了Delta-LoRA，这是一种新颖的参数高效的方法，用于微调大型语言模型（LLMs）。与LoRA和其他低秩适应方法相比，Delta-LoRA不仅更新低秩矩阵A和B，还通过利用两个低秩矩阵的乘积的增量将学习传播到预训练权重W，从而有效地解决了低秩矩阵的增量更新对于学习适用于下游任务的表示的不足。此外，由于W的更新不需要计算W的梯度并存储其动量，Delta-LoRA与LoRA具有相当的内存需求和计算成本。大量实验表明，Delta-LoRA明显优于现有的低秩适应方法。我们通过全面的分析进一步支持了这些结果，强调了Delta-LoRA的有效性。

Sep, 2023

在对大规模预训练语言模型进行提升调优的过程中，我们通过引入稀疏低秩适应性的创新方法（SoRA），使得适应过程中能够动态地调整内在秩，从而提高LoRA的表现能力，同时通过更新稀疏方式高效地控制参数数量。实验结果表明，SoRA在保留70%参数和训练时间的情况下，能够胜过其他基准模型。

Nov, 2023

通过修改Low-Rank Adapters方法中的缩放因子，我们提出了一种称为rank-stabilized LoRA (rsLoRA)的方法，可以在训练期间用更多的计算资源来换取更好的fine-tuning性能，并且在推理计算成本不变的情况下实现了fine-tuning计算性能的折中。

Nov, 2023

通过梯度投影方法，我们提出了一种新的迭代优化框架COLA，通过将学习的链式LoRA模块与预训练的语言模型参数进行融合，并为新生成的LoRA模块重新初始化优化过程，从而在无需额外的计算和内存成本的情况下弥合了LoRA和完全参数微调之间的差距。

Jan, 2024

通过理论分析，在神经切线核（NTK）范式下，我们发现使用低秩适应（LoRA）进行微调有助于消除虚假的局部极小值点，从而使得梯度下降算法可以找到低秩解。

Feb, 2024

本研究探讨了一种改进的LoRA优化方法，称为PeriodicLoRA（PLoRA），通过多次积累低秩更新矩阵来提高更新秩，并引入一种基于动量的卸载策略以减轻训练不稳定性。实验结果表明，PLoRA具有更强的学习能力，最高可达到LoRA学习能力的1.8倍，但不增加内存使用。

Feb, 2024

本研究针对LoRA在有限数据和训练步骤下的微调局限性，提出了一种新的方法：自适应学习率的ALLoRA。通过消除Dropout和比例因子的影响，ALLoRA显著提高了训练的动态性和收敛性，实验证明在多种设置中其精度优于原有的LoRA及其变体。

Oct, 2024

本研究探讨了LoRA与全面微调在训练后模型中权重矩阵的差异，揭示了这两种微调方法的结果并不等效。研究发现，LoRA模型中出现的高排名奇异向量称为“入侵维度”，这些维度在全面微调中并不存在，并且尽管在目标任务上表现相似，LoRA模型在适应多个任务时的稳健性较差。这一发现对理解不同微调方法影响的模型能力具有重要意义。

Oct, 2024