人工神经网络经常面临灾难性遗忘的问题，其中视觉变换器尤其明显，我们通过两种参数高效的微调策略（块扩展和低秩适应）研究了如何解决这一问题，结果显示使用这些策略后的预训练视觉变换器在新领域具有更好的参数效率且能有效减轻灾难性遗忘。

Apr, 2024

通过 LoRAT 方法，将 Vision Transformers (ViT) 应用于实验室级资源内的视觉跟踪，通过解决独特的挑战和潜在域差异，包括将位置嵌入分解为共享的空间嵌入和独立的类型嵌入，并设计了仅基于多层感知器 (MLP) 的自由锚定头进行适应，以提高性能并降低计算开销。

Mar, 2024

提出了一种用于多模态、多任务迁移学习的新型参数高效调参方法（PEFT）框架，它通过 LoRA、BitFit 和 IA3 等技术，在几乎不需要可训练参数和 GPU 内存的情况下，展示了与预训练模型完全微调相当的性能，然而，在多模态微调中，经常需要进行架构修改或完全微调。为了解决这个问题，我们提出了 Context-PEFT，它根据令牌的领域学习不同的适配器参数组，这种方法使得可以实现类似 LoRA 的权重注入，而不需要额外的架构修改。我们的方法在 COCO 字幕任务上进行评估，在类似的数据限制下，优于完全微调，并同时提供了更高的参数效率和计算经济性的解决方案。

Dec, 2023

通过应用参数高效微调（Parameter-efficient fine-tuning）方法于胸部放射学基础模型上，研究表明该方法在少于 1% 的可调参数下，比完全参数微调（full-parameter fine-tuning）方法在 18 个迁移学习任务中有更好的性能，在 NIH ChestX-ray14 数据集上获得了 80.6% 的 AUROC 分数，希望引起社区对于在医学成像任务中使用参数高效微调方法的更多关注。

Jan, 2024

MELoRA 是一种采用较少可训练参数但保持较高秩的迷你低秩适配器，用于针对预训练大型语言模型进行性能优化的方法。实验证明，在自然语言理解和指令跟随任务上，相较于低秩适配器 LoRA，MELoRA 在拥有 8 倍较少可训练参数时表现更好，而在指令跟随任务上拥有 36 倍较少可训练参数时也表现更好，证明了 MELoRA 的有效性。

Feb, 2024

通过使用合成数据集，我们提出了一种新的方法来无损地将低秩适配器模块从一个基准模型转移到另一个基准模型，这项方法能够在不同的基准模型族之间，甚至不同的参数优化方法之间，在各种任务上实现低秩适配器的转移。

May, 2024

通过一系列实验，我们发现了两个关键的见解，揭示了 LoRA 的训练和参数效率问题，基于这些见解，我们开发了 HydraLoRA，这是一个具有不对称结构的 LoRA 框架，消除了对领域专业知识的需求，我们的实验表明，HydraLoRA 优于其他 PEFT 方法，即使在训练和推断阶段依赖领域知识的情况下。

Apr, 2024

本研究介绍了动态低秩适应（DoRA）方法，该方法在训练过程中将高秩的低秩层分解为结构化的单秩元件，允许根据任务重要性动态修剪参数预算，以充分利用有限的参数预算，并且实验证明 DoRA 方法在与 LoRA 和完全模型微调相比具有竞争性的性能和优于各种强基线模型的结果。

May, 2024

通过使用学习性的 LNLoRA 模块和 FullLoRA-AT 框架，本文提出了一种参数高效的对 Vision Transformer 模型进行对抗微调，以有效提高模型的鲁棒性。在 CIFAR-10，CIFAR-100 和 Imagenette 数据集上进行的广泛实验证明了本文方法的优越性。

Jan, 2024

PRILoRA 通过在线性分配不同的秩给每一层并在训练过程中进行剪枝，考虑到权重的临时大小和给定层的输入的累积统计信息，验证了其在八个 GLUE 基准测试中的有效性，取得了最新的技术成果。

Jan, 2024