LoRA-Pro：低秩适配器是否得到了适当的优化？
本文提出了一种低秩适应方法（Low-Rank Adaptation，简称LoRA），通过将可训练秩分解矩阵注入变压器结构的每个层中，极大地减少了下游任务中的可训练参数，并且性能与微调相当或更好，同时具有更高的训练吞吐量和没有额外推理延迟，这解决了大规模预训练模型对于微调参数和GPU内存占用过高的问题。
Jun, 2021
本文介绍了Delta-LoRA，这是一种新颖的参数高效的方法，用于微调大型语言模型（LLMs）。与LoRA和其他低秩适应方法相比，Delta-LoRA不仅更新低秩矩阵A和B，还通过利用两个低秩矩阵的乘积的增量将学习传播到预训练权重W，从而有效地解决了低秩矩阵的增量更新对于学习适用于下游任务的表示的不足。此外，由于W的更新不需要计算W的梯度并存储其动量，Delta-LoRA与LoRA具有相当的内存需求和计算成本。大量实验表明，Delta-LoRA明显优于现有的低秩适应方法。我们通过全面的分析进一步支持了这些结果，强调了Delta-LoRA的有效性。
Sep, 2023
通过修改Low-Rank Adapters方法中的缩放因子，我们提出了一种称为rank-stabilized LoRA (rsLoRA)的方法，可以在训练期间用更多的计算资源来换取更好的fine-tuning性能，并且在推理计算成本不变的情况下实现了fine-tuning计算性能的折中。
Nov, 2023
通过梯度投影方法，我们提出了一种新的迭代优化框架COLA，通过将学习的链式LoRA模块与预训练的语言模型参数进行融合，并为新生成的LoRA模块重新初始化优化过程，从而在无需额外的计算和内存成本的情况下弥合了LoRA和完全参数微调之间的差距。
Jan, 2024
通过使用“divide-and-share”范式并引入向量库，VB-LoRA实现了极高的参数效率同时保持与当前最先进PEFT方法相当甚至更好的性能。
May, 2024
介绍了一种新的参数高效微调方法LoRA-XS，利用奇异值分解（SVD）在参数高效微调方面取得显著的结果，特别是在较大模型上，比LoRA和VeRA等最新方法更具参数效率同时保持竞争性能。
May, 2024
在这项研究中，我们提出了一种基于贝叶斯角度的矩阵分解和量化方法，名为B-LoRA，通过对学习到的低秩矩阵的量化级别和秩值引入先验分布，使其能够在特定任务上对预训练模型进行精细调节，找到每个低秩矩阵的最佳秩值和量化级别。通过在GLUE基准上对预训练的DeBERTaV3模型进行验证，并将其与相关基准进行比较，我们展示了该方法如何学习到最优秩的量化矩阵，相比基线方法，B-LoRA在性能上与基线相当或更好，并且减少了大约70%的总比特操作量。
Jun, 2024
LoRA-GA通过引入一种新的初始化方法，即梯度近似初始化（Low Rank Adaptation with Gradient Approximation），能够在保持效率和性能的同时达到与完全微调相当的收敛速度，进而显著提高模型性能和收敛速度。
Jul, 2024