本文提出了一种低秩适应方法（Low-Rank Adaptation，简称LoRA），通过将可训练秩分解矩阵注入变压器结构的每个层中，极大地减少了下游任务中的可训练参数，并且性能与微调相当或更好，同时具有更高的训练吞吐量和没有额外推理延迟，这解决了大规模预训练模型对于微调参数和GPU内存占用过高的问题。

Jun, 2021

提出了MultiLoRA，通过减少LoRA中观察到的顶层奇异向量的主导性，通过水平扩展LoRA模块和改变适应矩阵的参数初始化来减少参数依赖性，从而产生更平衡的单元子空间，从而实现更好的多任务适应性。MultiLoRA在多个基准和模型规模上优于单个LoRA对应项和微调，仅需额外2.5％的参数。对MultiLoRA的权重更新矩阵进行进一步研究表明，其对顶层奇异向量的依赖性减小，单元变换贡献更加均衡。

Nov, 2023

PRILoRA通过在线性分配不同的秩给每一层并在训练过程中进行剪枝，考虑到权重的临时大小和给定层的输入的累积统计信息，验证了其在八个GLUE基准测试中的有效性，取得了最新的技术成果。

Jan, 2024

研究提出了一种新颖的参数高效的MoE方法，称为MoLA，适用于基于Transformer的模型，通过为每个模型层分配不同数量的LoRA专家，该方法在六个著名的NLP和常识QA基准上展示了与基线相当或更好的性能，该工作可以作为各种应用的即插即用的参数高效调优方法。

Feb, 2024

使用Mixture-of-LoRAs (MoA)架构的多任务学习方法，通过培训多个领域特定的LoRA模块，采用明确的路由策略和领域标签来防止任务之间的干扰，并最终提高每个个体任务的性能，进而促进领域特定大语言模型（LLMs）的广泛应用。

Mar, 2024

通过一系列实验，我们发现了两个关键的见解，揭示了LoRA的训练和参数效率问题，基于这些见解，我们开发了HydraLoRA，这是一个具有不对称结构的LoRA框架，消除了对领域专业知识的需求，我们的实验表明，HydraLoRA优于其他PEFT方法，即使在训练和推断阶段依赖领域知识的情况下。

Apr, 2024

通过在编程和数学这两个目标领域上比较 Low-Rank Adaptation (LoRA) 和全精调 (full finetuning) 的性能，我们发现在大多数情况下，LoRA的表现明显逊于全精调；然而，LoRA展现了一种理想的正则化形式，并且可以更好地保持基础模型在目标领域之外的任务表现，同时比传统技术如权重衰减和dropout提供了更强的正则化效果，并有助于生成更多样化的结果。我们还发现全精调学习到的扰动比典型LoRA配置的秩高10-100倍，这可能解释了一些报告中的差距。最后，我们提出了在使用LoRA进行精调时的最佳实践建议。

May, 2024

我们介绍了HeteroLoRA，这是一种轻量级的搜索算法，通过利用零成本代理在模型中分配有限的LoRA可训练参数，以提高微调性能，并在更具挑战性的搜索空间中展示了HeteroLoRA的有效性。

Jun, 2024

本研究针对LoRA在有限数据和训练步骤下的微调局限性，提出了一种新的方法：自适应学习率的ALLoRA。通过消除Dropout和比例因子的影响，ALLoRA显著提高了训练的动态性和收敛性，实验证明在多种设置中其精度优于原有的LoRA及其变体。

Oct, 2024

该研究解决了低秩适应在多租户环境中引入的显著延迟问题。通过提出混合低秩适应（MiLoRA），该方法在考虑每个低秩适应模块作为专家的基础上，采用了基于提示的路由机制，从而减少了延迟。实验表明，MiLoRA在性能上超越了强基准，同时显著降低了多租户设置中的延迟。

Oct, 2024