LoRA 是一种使用较少参数和内存的训练方法，研究表明，在低秩适配器的支持下，LoRA fine-tuned 模型在多个任务上表现超过基准模型 34 个百分点和 GPT-4 10 个百分点；此外，他们开发了 LoRAX 多模型推理服务器，支持多个 LoRA fine-tuned 模型在单个 GPU 上运行，以展示使用多个专用 LLM 相对于单个通用 LLM 的质量和成本效益。

Apr, 2024

通过使用合成数据集，我们提出了一种新的方法来无损地将低秩适配器模块从一个基准模型转移到另一个基准模型，这项方法能够在不同的基准模型族之间，甚至不同的参数优化方法之间，在各种任务上实现低秩适配器的转移。

May, 2024

本研究探讨了一种改进的 LoRA 优化方法，称为 PeriodicLoRA（PLoRA），通过多次积累低秩更新矩阵来提高更新秩，并引入一种基于动量的卸载策略以减轻训练不稳定性。实验结果表明，PLoRA 具有更强的学习能力，最高可达到 LoRA 学习能力的 1.8 倍，但不增加内存使用。

Feb, 2024

通过实施共享低秩适应（ShareLoRA）的方式，本研究介绍了一种优化预训练语言模型（PLMs）的参数有效微调（PEFT）的方法。在不同层级上策略性地部署 ShareLoRA，并对 self-attention 层的 Query、Key 和 Value 组件进行适应性调整，我们实现了训练参数数量和内存使用的大幅减少。同时，ShareLoRA 不仅在 RoBERTa、GPT-2、LLaMA 和 LLaMA2 等多种模型上保持了模型性能，还在分类和生成任务中表现出鲁棒性。相比标准的 LoRA 应用，它表现出卓越的迁移学习能力，并通过在层级间共享权重来减轻过拟合。我们的发现证明，ShareLoRA 能够有效提升参数效率，同时在不同的语言模型架构上保证可扩展和高质量的性能。

Jun, 2024

通过 AB-LoRA 方法，逐步修剪过多和负面影响的 LoRA 排名，并将修剪后的 LoRA 预算分配给需要更高排名的重要 Transformer 模块，实现了分配低秩适应 (ALoRA) 的灵活下游任务适应方法。实验结果表明，ALoRA 方法在可调参数相当的情况下优于最近的基准模型。

Mar, 2024

通过分布式 PEFT 框架 DLoRA，在云和用户设备之间合作进行参数高效微调并实现卓越准确性和隐私保护。

Apr, 2024

利用对比学习以鼓励专家学习不同特征的方式，我们介绍了一种新的参数效率微调方法 MoELoRA，它在数学推理和常识推理基准测试中表现显著优于 LoRA 和 GPT-3.5。

Feb, 2024

本研究通过探索在语言任务中不同联邦学习设置中应用参数高效微调（PEFT）方法的机会和挑战，提出了一种名为 SLoRA 的方法，通过一种新颖的数据驱动初始化技术来克服在高异构数据环境中 LoRA 的关键限制，实现与全面微调可比的性能，并以大约 1% 的密度实现显著稀疏更新，同时将训练时间减少高达 90%。

Aug, 2023

本研究通过使用 Parameter-Efficient Fine-Tuning 中的 Low-Rank Adaptation (LoRA) 探索了复杂且未被充分研究的多语言摘要任务的潜力，研究发现 LoRA 在低数据情况和跨语言转移中表现出色，当模型增大时，LoRA 和完全微调之间的性能差距减小，同时，继续训练 LoRA 获得了最佳的少样本跨语言转移表现。

Nov, 2023

提出了一种增量参数分配方法 IncreLoRA，通过根据每个模块的重要性得分，在训练期间自适应地添加可训练参数，以应对有限训练条件下参数剪枝的限制，实现更高的参数效率，并在低资源设置下显著优于基准方法。

Aug, 2023