ICCVAug, 2023

视觉转换器适配器适用于可传递多任务学习

PDF
TL;DR我们引入了第一款多任务视觉变换器适配器，它能学习到适用于新任务和领域的通用任务关联性。我们的适配器融合在现成的视觉变换器骨干网络中，能够同时解决多个密集视觉任务，而不像现有的多任务变换器那样需要大量的参数。与同时方法相比，我们无需在添加新任务或领域时重新训练或微调。我们在适配器框架中引入了一种任务适应的注意机制，将基于梯度的任务相似度与基于注意力的相似度相结合。所学习的任务关联性可推广到以下情况：零样本任务迁移、无监督领域适应以及不需要对新领域进行微调的泛化。我们证明了我们的方法不仅优于现有的基于卷积神经网络的多任务方法，还优于基于视觉变换器的方法。
multitasking vision transformer adaptersgeneralizable task affinitiesdense vision tasksparameter-efficient mannertask-adapted attention mechanism
发现论文，激发创造
  • VMT-Adapter: 多任务强化学习的参数高效迁移学习

    大规模预训练模型已在各种计算机视觉任务中取得了显著成果。然而，与其它单一任务的适应性方法相比，在多任务适应方面的研究有限，这些方法往往表现出次优的训练和推理效率。本文首先提出了一种全能视觉多任务适配器（VMT-Adapter），其训练和推理效率与任务数量近似为 O (1)。具体而言，VMT-Adapter 通过共享多个任务的知识来增强跨任务交互，并通过独立知识提取模块保留了任务特定的知识。此外，本文还提出了 VMT-Adapter-Lite，通过学习下投影和上投影之间的共享参数来进一步减少可训练参数。对四个密集场景理解任务的大量实验证明了 VMT-Adapter (-Lite) 的优越性，相比于单一任务的全面微调，它们分别实现了 3.96%（1.34%）的相对改进，并仅利用了预训练模型的约 1%（0.36%）的可训练参数。

    Dec, 2023

  • 视觉 Transformer 在领域适应与泛化中的应用：鲁棒性研究

    本文研究了视觉 Transformer 在领域适应和领域泛化方案中的应用，包括特征级、实例级、模型级以及混合方法的适应，以及多领域学习、元学习、正则化技术和数据增强策略的领域泛化方法，总结了各种与分布变化相关的策略，并提供了有价值的洞见和综合表格，展示了视觉 Transformer 在处理分布变化方面的多样性和实用性。

    Apr, 2024

  • 用于密集预测的视觉 Transformer 适配器

    本文提出一种基于适配器的简单而强大的密集预测任务适配器，用于解决 Vision Transformer (ViT) 在密集预测中的性能较差问题，并成功应用于目标检测、实例分割和语义分割等多种密集预测任务中，其中 ViT-Adapter-L 模型在不使用额外数据的情况下，在 COCO test-dev 数据集上实现了 state-of-the-art 的性能。

    May, 2022

  • VL-Adapter：用于视觉语言任务的参数效率转移学习

    本文提出基于 adapter 的参数高效迁移学习技术，以 VL-BART 和 VLT5 为例，在图像文本和视频文本基准测试上统一多任务设置，通过权重共享提高 adapter 的效率和性能，在图像文本任务和视频文本任务中将 adapter 的使用提升至总参数的 4.18% 和 3.39%，匹配了整个模型微调的性能，同时对 adapter 与任务特定提示的组合及 V&L 预训练对 adapter 的影响进行了综合分析。

    Dec, 2021

  • TVT：基于视觉 Transformer 的无监督域自适应模型

    本研究提出了一种名为 “可传递视觉 Transformer” 的统一框架，其中融合了迁移学习、注意力机制和聚类方法，以实现基于标签源域的无标签目标域的知识迁移。 实验证明，本文所提出的 TVT 方法优于现有的微调和迁移学习方法，通过注入可学习的传递性适应模块来强制 ViT 集中注意力在可转移和辨别性特征上，并借助判别性聚类来增强特征多样性和分离度。

    Aug, 2021

  • 多任务策略学习中视觉特征的任务条件自适应

    在这项工作中，我们证明自适应底层感知模块对于自主代理在各种任务中的成功是至关重要的，我们引入了任务条件适配器的概念，并展示了它可以通过单一策略来解决多个任务，同时证明了方法可以在未见过的任务中使用视觉示范进行泛化。

    Feb, 2024

  • 多模态任务的动态 Transformer 架构

    我们提出了一种基于 Transformer 的持续学习框架 TAM-CL，用于学习涉及视觉和语言的多模态任务，并通过引入额外参数和知识蒸馏实现任务间的信息交流，以及解决灾难性遗忘问题。该方法在多种挑战性的多模态任务上达到了最先进的性能。

    Jan, 2024

  • 跨领域少样本学习：自适应变换网络

    提出了一种自适应变压器网络 (ADAPTER) 作为跨领域少样本学习的简单而有效的解决方案，它建立在双向交叉注意力的思想上，学习两个领域之间的可转移特征，并通过 DINO 训练以避免监督崩溃问题。进一步提出了标签平滑方法来提高嵌入空间中近邻样本的预测一致性和可靠性。在 BSCD-FSL 基准测试中，ADAPTER 的性能得到了严格评估，表现优于以往的方法。

    Jan, 2024

  • 任务和领域跨界学习

    本文提出了一种新的适应性框架，用于跨任务和领域传递知识，通过在一个完全监督域中学习跨任务和领域的知识，使其在只有部分监督域中实现性能增益。实验证明了该框架在两个具有挑战性的任务（即单眼深度估计和语义分割）和四个不同领域（Synthia、Carla、Kitti 和 Cityscapes）中的有效性。

    Apr, 2019

  • 提高视觉语言模型的适应性和泛化能力的有效传递学习

    利用视觉提示进行类别可分性和使用文本适配器进行任务适应的结合对于适应性和泛化性至关重要；我们提出了一种自适应集成方法，根据迁移难度有效地结合了 VLMs 的通用知识和任务特定知识，该方法在广泛的基准测试中始终优于所有基准线，尤其是在未知任务上表现出了其有效性。

    Nov, 2023