Oct, 2023

大规模视觉变压器通过适配器重新组合的高效适应

PDF
TL;DR高容量预训练模型的出现改变了计算机视觉中的问题解决方式，专注于训练特定任务的模型转变为调整预训练模型，因而有效地将大型预训练模型适应下游任务成为一个重要的研究领域；本研究提出了一种新颖的适配器重组（ARC）策略，从新的角度解决了高效预训练模型的适应问题，通过考虑适应参数的可重用性并引入参数共享方案，通过利用对称的下 -/ 上映射构建瓶颈操作从而实现层间参数共享，通过学习低维度的重新缩放系数，可以有效地重新组合层自适应的适配器，这种参数共享策略在适配器设计中允许显著减少新参数数量，同时保持令人满意的性能，从而提供了一种有前景的压缩适应成本的方法，通过在 24 个下游图像分类任务上使用各种 Vision Transformer 变种进行实验以评估我们的方法，结果表明我们的方法在减少参数数量的同时实现了令人信服的迁移学习性能。
high-capacity pre-trained modelsadapter re-composingparameter-sharingefficient model adaptationtransfer learning performance
发现论文，激发创造
  • 视觉 Transformer 的参数高效模型适应

    本文研究了视觉变换器的参数高效模型适应策略，提出了一种基于局部内在维度的参数高效模型适应框架，并通过实验比较了不同方法在各项指标下的表现。结果表明，该框架在少样本下的 20 个图像分类数据集和全样本下的 7 个图像分类数据集上，在准确性和参数效率之间的平衡上表现最佳。

    Mar, 2022

  • VL-Adapter：用于视觉语言任务的参数效率转移学习

    本文提出基于 adapter 的参数高效迁移学习技术，以 VL-BART 和 VLT5 为例，在图像文本和视频文本基准测试上统一多任务设置，通过权重共享提高 adapter 的效率和性能，在图像文本任务和视频文本任务中将 adapter 的使用提升至总参数的 4.18% 和 3.39%，匹配了整个模型微调的性能，同时对 adapter 与任务特定提示的组合及 V&L 预训练对 adapter 的影响进行了综合分析。

    Dec, 2021

  • VMT-Adapter: 多任务强化学习的参数高效迁移学习

    大规模预训练模型已在各种计算机视觉任务中取得了显著成果。然而，与其它单一任务的适应性方法相比，在多任务适应方面的研究有限，这些方法往往表现出次优的训练和推理效率。本文首先提出了一种全能视觉多任务适配器（VMT-Adapter），其训练和推理效率与任务数量近似为 O (1)。具体而言，VMT-Adapter 通过共享多个任务的知识来增强跨任务交互，并通过独立知识提取模块保留了任务特定的知识。此外，本文还提出了 VMT-Adapter-Lite，通过学习下投影和上投影之间的共享参数来进一步减少可训练参数。对四个密集场景理解任务的大量实验证明了 VMT-Adapter (-Lite) 的优越性，相比于单一任务的全面微调，它们分别实现了 3.96%（1.34%）的相对改进，并仅利用了预训练模型的约 1%（0.36%）的可训练参数。

    Dec, 2023

  • 时间、内存和参数高效的视觉适应

    我们提出了一个不需要反向传播梯度的适应方法，该方法在参数、训练时间和内存使用方面都非常高效，并且在 VTAB 基准测试中实现了极好的准确性 - 参数折衷，并展示了在视频分类等计算密集型任务中对于训练效率和可扩展性上的优越性。

    Feb, 2024

  • 预训练语音模型的高效适配器调优用于自动说话人验证

    通过在预先训练的模型中插入轻量级适配器模块，将自监督语音模型适应到说话人验证任务中，我们提出了一个高效的适配器框架。实验结果表明，该框架在更新仅 5% 的参数的情况下，超过了微调和其他参数高效的迁移学习方法，实现了卓越的性能。

    Mar, 2024

  • 增强 Prompt 调参视觉 Transformer 的适应性

    使用 ADAPT 框架对 Vision Transformers 进行参数高效提示调优，实现对下游任务的鲁棒性训练，从而在只调优了约 1% 的参数数量的情况下，实现与完全模型微调相当的鲁棒准确率（约 40%）.

    Mar, 2024

  • UniAdapter：跨模态建模的统一参数高效迁移学习

    该论文提出 UniAdapter，通过部分权重共享实现单模态和多模态适配器的统一设计，从而实现在预训练的视觉语言模型上进行跨模态自适应，仅需预训练模型的 1.0％-2.0％可调参数，实现强大的跨模态表示，对于各种下游任务都有益处，并在六项跨模态下游基准测试中表现出色。

    Feb, 2023

  • ST-Adapter：基于转移学习的高效图像到视频参数适配器

    本文针对跨模态参数高效的图像到视频传递学习进行了研究，并提出了一种新的适应器 ——Spatio-Temporal Adapter，可以在较小的成本下实现有关动态视频内容的空时推理能力，并在视频动作识别任务上匹配或超越完全微调策略和最先进的视频模型，同时又具有参数效率的优势。

    Jun, 2022

  • 用于密集预测的视觉 Transformer 适配器

    本文提出一种基于适配器的简单而强大的密集预测任务适配器，用于解决 Vision Transformer (ViT) 在密集预测中的性能较差问题，并成功应用于目标检测、实例分割和语义分割等多种密集预测任务中，其中 ViT-Adapter-L 模型在不使用额外数据的情况下，在 COCO test-dev 数据集上实现了 state-of-the-art 的性能。

    May, 2022

  • 适应形态：为可扩展视觉识别调整视觉变换器

    提出了一种叫做 “AdaptFormer” 的方法，可将预训练的视觉 Transformer 模型快速适应于多个图像和视频识别任务中，在不更新原预训练参数的情况下，只增加不到 2％的额外参数，就能显著提高模型的可迁移性和表现

    May, 2022