本文提出了一种低秩适应方法（Low-Rank Adaptation，简称LoRA），通过将可训练秩分解矩阵注入变压器结构的每个层中，极大地减少了下游任务中的可训练参数，并且性能与微调相当或更好，同时具有更高的训练吞吐量和没有额外推理延迟，这解决了大规模预训练模型对于微调参数和GPU内存占用过高的问题。

Jun, 2021

LoRA-FA采用低内存量的权重更新方式，用于大型语言模型的微调，具有接近完整参数微调的准确性，降低了内存使用，技术优化了LoRA。

Aug, 2023

在对大规模预训练语言模型进行提升调优的过程中，我们通过引入稀疏低秩适应性的创新方法（SoRA），使得适应过程中能够动态地调整内在秩，从而提高LoRA的表现能力，同时通过更新稀疏方式高效地控制参数数量。实验结果表明，SoRA在保留70%参数和训练时间的情况下，能够胜过其他基准模型。

Nov, 2023

通过梯度投影方法，我们提出了一种新的迭代优化框架COLA，通过将学习的链式LoRA模块与预训练的语言模型参数进行融合，并为新生成的LoRA模块重新初始化优化过程，从而在无需额外的计算和内存成本的情况下弥合了LoRA和完全参数微调之间的差距。

Jan, 2024

利用大型语言模型的计算和存储需求，我们提出了LoRA-SP(简化的部分参数适应)方法，它利用LoRA框架中的随机半选择性参数冻结来平衡预训练知识的保留和任务特定优化的适应性。通过随机机制，LoRA-SP确定要更新或冻结的参数，显著减少计算和存储需求，同时不损害模型性能。我们在多个基准自然语言处理任务上评估了LoRA-SP，展示了它在与传统的全参数微调和其他参数高效技术相比，以较低的资源消耗实现竞争性性能的能力。LoRA-SP的创新方法不仅有助于在资源有限的环境中部署高级自然语言处理模型，还为有效和高效的模型适应策略开辟了新的研究途径。

Feb, 2024

通过 AB-LoRA 方法，逐步修剪过多和负面影响的 LoRA 排名，并将修剪后的 LoRA 预算分配给需要更高排名的重要 Transformer 模块，实现了分配低秩适应 (ALoRA) 的灵活下游任务适应方法。实验结果表明，ALoRA 方法在可调参数相当的情况下优于最近的基准模型。

Mar, 2024

本研究解决了在复杂下游任务中，单一尺度更新参数可能不是最佳选择的问题。通过扩展低秩适应方法（LoRA）到多尺度，提出了LoRA$^2$，并结合正交投影理论和改进的重要性评分算法，显著减少了训练参数数量，提升了适应性和性能。研究结果表明，LoRA$^2$在微调中仅需0.72%的参数，仍能实现与基线相当的性能，展现了其高效性和潜在影响。

Aug, 2024

本研究解决了在大语言模型微调中低秩适应（LoRA）的计算资源浪费问题。提出的CoRA方法通过使用共享知识优化LoRA训练，显著减少了可训练参数且提高了性能。实验结果表明，该方法在保持效率的同时，提升了与原始LoRA微调相同参数下的效果。

Aug, 2024

本研究针对低秩适配方法在适应大型预训练模型时参数数量过高的限制，提出了一种新颖的低秩张量参数化方法。这一方法显著降低了可训练参数的数量，并在多项基准测试中展示了在保持性能的同时实现高效微调的潜力。

Oct, 2024

本研究解决了微调大型语言模型（LLMs）时存在的计算复杂性和资源需求问题，尤其是低秩适应与理论最佳性能之间的差距。提出的极端梯度提升LoRA（XGBLoRA）框架利用集成学习的优势，通过迭代学习和合并LoRA适应来优化模型预测，最终实现了在计算效率上超越标准LoRA，同时性能与全面微调相媲美。此研究推动了大型语言模型的高效微调，为模型在下游任务中的适应提供了更优的解决方案。

Oct, 2024