本文提出基于 adapter 的参数高效迁移学习技术，以 VL-BART 和 VLT5 为例，在图像文本和视频文本基准测试上统一多任务设置，通过权重共享提高 adapter 的效率和性能，在图像文本任务和视频文本任务中将 adapter 的使用提升至总参数的 4.18% 和 3.39%，匹配了整个模型微调的性能，同时对 adapter 与任务特定提示的组合及 V&L 预训练对 adapter 的影响进行了综合分析。

Dec, 2021

大规模预训练模型已在各种计算机视觉任务中取得了显著成果。然而，与其它单一任务的适应性方法相比，在多任务适应方面的研究有限，这些方法往往表现出次优的训练和推理效率。本文首先提出了一种全能视觉多任务适配器（VMT-Adapter），其训练和推理效率与任务数量近似为 O (1)。具体而言，VMT-Adapter 通过共享多个任务的知识来增强跨任务交互，并通过独立知识提取模块保留了任务特定的知识。此外，本文还提出了 VMT-Adapter-Lite，通过学习下投影和上投影之间的共享参数来进一步减少可训练参数。对四个密集场景理解任务的大量实验证明了 VMT-Adapter (-Lite) 的优越性，相比于单一任务的全面微调，它们分别实现了 3.96%（1.34%）的相对改进，并仅利用了预训练模型的约 1%（0.36%）的可训练参数。

Dec, 2023

该论文提出 UniAdapter，通过部分权重共享实现单模态和多模态适配器的统一设计，从而实现在预训练的视觉语言模型上进行跨模态自适应，仅需预训练模型的 1.0％-2.0％可调参数，实现强大的跨模态表示，对于各种下游任务都有益处，并在六项跨模态下游基准测试中表现出色。

Feb, 2023

通过适配器模块实现神经网络参数共享，避免针对每个任务都需要重新训练整个神经网络的问题。将适配器模块应用于 BERT Transformer 可以达到接近完全微调的性能，同时每个任务只需增加 3.6％的可训练参数，表现十分出色。

Feb, 2019

本研究旨在探讨对屏幕截图字幕任务进行高效调优的方法。通过冻结图像字幕模型的参数，仅训练与方法相关的权重，可以实现与整个模型微调相当的性能，同时大幅减少参数数量。该研究首次全面探讨了在屏幕截图字幕任务中结合适配器的有效性，并通过实验和分析为适配器在视觉语言模型中的应用提供有价值的观点，为屏幕截图字幕任务的高效调优技术的发展作出贡献。

Sep, 2023

提出了一种零成本适应范式（ZeroI2V）来将图像变换器应用于视频识别任务，实现图像到视频的快速转换和零额外计算成本。通过引入空间 - 时间双头注意力（STDHA）和轻量级线性适配器的线性适应策略，实现了对视频动态性和图像与视频之间的领域差异的处理，达到与先前最先进的方法相当甚至超过的参数和推理效率。

Oct, 2023

Adapter-X 是一种新的框架，通过参数共享和动态分配，以及引入特定设计来提高适应性，在更少的参数下优于传统的微调方法。

Jun, 2024

此研究论文介绍了适用于少样本动作识别的新型适配器调整框架 (D^2ST-Adapter)，其采用双通道架构以解耦空间和时间特征，并设计了可塑性的时空注意力模块，能够在 3D 时空视图中全局建模特征，同时保持轻量级设计。实验证明，这种方法在少样本动作识别方面优于现有方法，特别适用于对时态动态至关重要的挑战性场景。

Dec, 2023

本文研究了视觉变换器的参数高效模型适应策略，提出了一种基于局部内在维度的参数高效模型适应框架，并通过实验比较了不同方法在各项指标下的表现。结果表明，该框架在少样本下的 20 个图像分类数据集和全样本下的 7 个图像分类数据集上，在准确性和参数效率之间的平衡上表现最佳。

Mar, 2022

XMAdapter 是一种跨模态参数高效的适配器方法，通过建立文本和图像的缓存模型，并利用视觉 - 语言双模态信息进行检索以获得推理线索。通过动态调整关联比例实现跨模态融合，解耦不同模态相似性以评估其各自的贡献，并通过适应性调整样本学习强度来增强模型性能。实验结果表明，XMAdapter 在准确性、泛化能力和效率方面明显优于以前的基于适配器的方法。

Apr, 2024