该论文提出 UniAdapter，通过部分权重共享实现单模态和多模态适配器的统一设计，从而实现在预训练的视觉语言模型上进行跨模态自适应，仅需预训练模型的 1.0％-2.0％可调参数，实现强大的跨模态表示，对于各种下游任务都有益处，并在六项跨模态下游基准测试中表现出色。

Feb, 2023

本研究提出一个新的模型 Prompt-Adapter，将预训练的提示调整与高效自适应网络相结合，用于高效的视觉 - 语言模型适应过程，超过公共数据集中少量数据情况下的现有方法，在此基础上，探讨了多任务预训练初始化与 prompt tuning 相结合的思想。

Mar, 2023

本研究提出了一种新的 delta 调节方法（AdapterGNN），用于图神经网络，通过具有高度表现力的适配器实现对下游任务的适应，从而仅使用少量参数，在化学和生物领域分别超过了完全微调 1.4％和 5.5％。实验结果表明 AdapterGNN 达到了更高的评估性能，并在广义化程度方面比完全微调表现更好。

Apr, 2023

大规模预训练模型已在各种计算机视觉任务中取得了显著成果。然而，与其它单一任务的适应性方法相比，在多任务适应方面的研究有限，这些方法往往表现出次优的训练和推理效率。本文首先提出了一种全能视觉多任务适配器（VMT-Adapter），其训练和推理效率与任务数量近似为 O (1)。具体而言，VMT-Adapter 通过共享多个任务的知识来增强跨任务交互，并通过独立知识提取模块保留了任务特定的知识。此外，本文还提出了 VMT-Adapter-Lite，通过学习下投影和上投影之间的共享参数来进一步减少可训练参数。对四个密集场景理解任务的大量实验证明了 VMT-Adapter (-Lite) 的优越性，相比于单一任务的全面微调，它们分别实现了 3.96%（1.34%）的相对改进，并仅利用了预训练模型的约 1%（0.36%）的可训练参数。

Dec, 2023

Adapter-X 是一种新的框架，通过参数共享和动态分配，以及引入特定设计来提高适应性，在更少的参数下优于传统的微调方法。

Jun, 2024

通过提出混合稀疏适配器（MoSA）作为一种新颖的适配器调整方法，旨在充分发挥每个适配器参数的潜力，本研究对一系列 27 个视觉任务进行了广泛实验证明，MoSA 始终比其他适配器调整方法和基准线方法表现更好，并在低资源和多任务设置的两个具有挑战性的场景中展现了令人满意的结果。

Dec, 2023

通过建立双重知识图，将文本和视觉语义 / 类别之间的关联性进行建模，利用适配器样式的调整策略，在少量数据条件下对视觉 - 语言模型进行调优，提高下游任务的分类器的效果。

Sep, 2023

本文调查了最近的大量工作，提供现有工作和模型的系统性和全面性概述，将最近的视觉微调技术分为五组：提示微调，适配器微调，参数微调和重新映射微调，并提供前瞻性预训练和视觉微调中的各种交互的激动人心的研究方向。

May, 2023

本文提出基于 adapter 的参数高效迁移学习技术，以 VL-BART 和 VLT5 为例，在图像文本和视频文本基准测试上统一多任务设置，通过权重共享提高 adapter 的效率和性能，在图像文本任务和视频文本任务中将 adapter 的使用提升至总参数的 4.18% 和 3.39%，匹配了整个模型微调的性能，同时对 adapter 与任务特定提示的组合及 V&L 预训练对 adapter 的影响进行了综合分析。

Dec, 2021

本研究提出一种在多语言预训练模型中解决遗忘问题的方法 -- 使用结构适配器仅更新 0.6％的总参数进行微调，取得了代码搜索和汇总任务的最新成果，并在跨语言和低资源情景下实现了良好的性能。

Mar, 2023