LoRA-GA：基于梯度近似的低秩适应
通过修改Low-Rank Adapters方法中的缩放因子，我们提出了一种称为rank-stabilized LoRA (rsLoRA)的方法，可以在训练期间用更多的计算资源来换取更好的fine-tuning性能，并且在推理计算成本不变的情况下实现了fine-tuning计算性能的折中。
Nov, 2023
通过设置适当的比率为LoRA适配器矩阵A和B设置不同的学习率，我们提出了一种名为LoRA$+$的算法，解决了LoRA的次优问题同时提高了性能（1-2％改进）和微调速度（最高约2倍速度提升）的问题。
Feb, 2024
LoRA是一种使用较少参数和内存的训练方法，研究表明，在低秩适配器的支持下，LoRA fine-tuned模型在多个任务上表现超过基准模型34个百分点和GPT-4 10个百分点；此外，他们开发了LoRAX多模型推理服务器，支持多个LoRA fine-tuned模型在单个GPU上运行，以展示使用多个专用LLM相对于单个通用LLM的质量和成本效益。
Apr, 2024
介绍了一种新的参数高效微调方法LoRA-XS，利用奇异值分解（SVD）在参数高效微调方面取得显著的结果，特别是在较大模型上，比LoRA和VeRA等最新方法更具参数效率同时保持竞争性能。
May, 2024
提出了一种名为Masked LoRA Experts (MLAE)的创新方法，通过参数高效微调、低秩矩阵的独立性增强和选择性激活等策略，以提高模型性能和知识多样性，从而实现了在VTAB-1k和FGVC基准测试上的最佳性能。
May, 2024
在这项研究中，我们提出了一种基于贝叶斯角度的矩阵分解和量化方法，名为B-LoRA，通过对学习到的低秩矩阵的量化级别和秩值引入先验分布，使其能够在特定任务上对预训练模型进行精细调节，找到每个低秩矩阵的最佳秩值和量化级别。通过在GLUE基准上对预训练的DeBERTaV3模型进行验证，并将其与相关基准进行比较，我们展示了该方法如何学习到最优秩的量化矩阵，相比基线方法，B-LoRA在性能上与基线相当或更好，并且减少了大约70%的总比特操作量。
Jun, 2024
通过研究矩阵更新的内在维度，揭示了提高内在维度在降低资源消耗、优化性能方面的潜在好处，并通过正则化和梯度屏蔽方法设计了Regularized and Masked LoRA (RM-LoRA)方法，相对于原始的LoRA方法和其最新变体，在各种开源视觉和语言数据集上实现了卓越的泛化性能。
Jul, 2024
本研究解决了低秩适应方法（LoRA）在高性能微调中的局限性，尤其是在计算和内存效率方面。提出的循环卷积适应方法（C$^3$A）不仅实现了更高的适应性，还在资源利用上表现优越，实验结果表明其在各种微调任务中持续超越LoRA及其变种。
Jul, 2024
该研究解决了低秩适配（LoRA）在与完全微调相比时性能不足的问题。通过引入“等效梯度”的新概念，本文优化了LoRA的优化过程，使其在性能上更接近完全微调。实验结果表明，该方法有效缩小了LoRA与完全微调之间的性能差距。
Jul, 2024