该研究提出了UniPELT框架，将不同的PELT方法作为子模块，并学习通过门控机制激活最适合当前数据或任务设置的子模块。在GLUE基准测试中，UniPELT相对于其单独包含的最佳PELT方法都能够获得1-4％的收益，并甚至在不同设置下优于fine-tuning。此外，UniPELT通常超过单个子模块在每个任务上单独使用的最佳性能上界，表明多个PELT方法的混合可能本质上更有效。

Oct, 2021

本文提出了一种称为内在提示调整 (IPT) 的分析流程，用于在一个统一的低维自然语言处理任务子空间内进行自然语言处理(PLM)的调整，研究结果表明，在250维的子空间中只需调整250个自由参数，即可表现出高的通用性。

Oct, 2021

该研究旨在从新的角度——发现内在的任务特定子空间，重新参数化和微调预训练语言模型。研究表明，在这个子空间中，预训练语言模型可以通过小部分可调参数进行有效地微调，而一些突兀出现的维度则关键地诱发了特定任务的知识。

May, 2023

通过梯度投影方法，我们提出了一种新的迭代优化框架COLA，通过将学习的链式LoRA模块与预训练的语言模型参数进行融合，并为新生成的LoRA模块重新初始化优化过程，从而在无需额外的计算和内存成本的情况下弥合了LoRA和完全参数微调之间的差距。

Jan, 2024

一个单线性层产生了任务适应的低秩矩阵，此方法在效果上与LoRA相当，但可训练参数更少。

Mar, 2024

通过 AB-LoRA 方法，逐步修剪过多和负面影响的 LoRA 排名，并将修剪后的 LoRA 预算分配给需要更高排名的重要 Transformer 模块，实现了分配低秩适应 (ALoRA) 的灵活下游任务适应方法。实验结果表明，ALoRA 方法在可调参数相当的情况下优于最近的基准模型。

Mar, 2024

通过一系列实验，我们发现了两个关键的见解，揭示了LoRA的训练和参数效率问题，基于这些见解，我们开发了HydraLoRA，这是一个具有不对称结构的LoRA框架，消除了对领域专业知识的需求，我们的实验表明，HydraLoRA优于其他PEFT方法，即使在训练和推断阶段依赖领域知识的情况下。

Apr, 2024

在本研究中，我们介绍了 extbf{MT-LoRA}（多任务嵌入LoRA），这是一个可扩展的多知识LoRA融合框架，旨在用于大型语言模型（LLMs）。MT-LoRA通过混合专家（MoE）的方式将各种LoRA适配器集成到基本LLM中，使模型能够根据任务输入自动选择最相关的适配器，从而显著增强了LLM处理复合任务的能力。我们的评估表明，通过MT-LoRA装备的基本模型在解决十个问题的组合任务时，仅需一次推理过程，比单独适配器获得更好的性能，并突出了MT-LoRA嵌入LLMs中的及时目标切换能力。

May, 2024

通过使用“divide-and-share”范式并引入向量库，VB-LoRA实现了极高的参数效率同时保持与当前最先进PEFT方法相当甚至更好的性能。

May, 2024

本研究针对深度状态空间模型（SSM）的参数高效微调（PEFT）方法的应用进行系统研究，填补了这一领域的研究空白。我们发现传统的基于提示的方法在SSM模型上效果不佳，而LoRA方法有效地提升了性能。此外，我们提出选择性维度调优（SDLoRA）以进一步提高性能，实验证实该方法优于标准LoRA。

Oct, 2024