我们引入了第一款多任务视觉变换器适配器，它能学习到适用于新任务和领域的通用任务关联性。我们的适配器融合在现成的视觉变换器骨干网络中，能够同时解决多个密集视觉任务，而不像现有的多任务变换器那样需要大量的参数。与同时方法相比，我们无需在添加新任务或领域时重新训练或微调。我们在适配器框架中引入了一种任务适应的注意机制，将基于梯度的任务相似度与基于注意力的相似度相结合。所学习的任务关联性可推广到以下情况：零样本任务迁移、无监督领域适应以及不需要对新领域进行微调的泛化。我们证明了我们的方法不仅优于现有的基于卷积神经网络的多任务方法，还优于基于视觉变换器的方法。

Aug, 2023

研究表明，视觉语言模型是目前广泛使用的预训练模型，但在适应少量样本方面，深度学习模型存在不足。本文研究了面向生成视觉语言模型的现有适应方法，提出了自标记的重要性，并提出一种任务适应流水线，可显著提高各种视觉语言任务（如图像分类、视觉问答等）的性能。

May, 2023

本文提出了一种新的适应性框架，用于跨任务和领域传递知识，通过在一个完全监督域中学习跨任务和领域的知识，使其在只有部分监督域中实现性能增益。实验证明了该框架在两个具有挑战性的任务（即单眼深度估计和语义分割）和四个不同领域（Synthia、Carla、Kitti 和 Cityscapes）中的有效性。

Apr, 2019

使用图像识别数据集作为源域和目标域之间的桥梁，通过任务蒸馏框架，在不同仿真器之间成功地传输导航策略，并在传统领域适应基准上展现出有前途的结果。

Aug, 2020

大规模预训练模型已在各种计算机视觉任务中取得了显著成果。然而，与其它单一任务的适应性方法相比，在多任务适应方面的研究有限，这些方法往往表现出次优的训练和推理效率。本文首先提出了一种全能视觉多任务适配器（VMT-Adapter），其训练和推理效率与任务数量近似为 O (1)。具体而言，VMT-Adapter 通过共享多个任务的知识来增强跨任务交互，并通过独立知识提取模块保留了任务特定的知识。此外，本文还提出了 VMT-Adapter-Lite，通过学习下投影和上投影之间的共享参数来进一步减少可训练参数。对四个密集场景理解任务的大量实验证明了 VMT-Adapter (-Lite) 的优越性，相比于单一任务的全面微调，它们分别实现了 3.96%（1.34%）的相对改进，并仅利用了预训练模型的约 1%（0.36%）的可训练参数。

Dec, 2023

该论文介绍了一种利用适配器残模块进行数据表示学习的深度网络架构，该网络能够被灵活地指引至不同的视觉领域中，实现了高度的参数共享并保持或提高了特定领域表示的准确性。同时，该论文还提出了 Visual Decathlon Challenge 基准评测系统，用于同时评估表征的能力并测量其识别不同领域的能力。

May, 2017

该文介绍了一种基于神经网络的动态视觉推理问题的更通用方法，通过学习物体中心表示、自我关注和自监督动力学学习，以实现三个不同领域的最先进表现，在每种情况下都优于针对任务特定定制的专用模块化方法。

Dec, 2020

本文提出一种基于关注机制的多任务联合失败检测方法，该方法能够评估多个视觉感知任务在图像不同区域的预测准确率和失效率，利用监督式多任务不确定性估计及其对应的预测误差，实现更准确的预测误差估计。

Oct, 2021

本文提出 “无损调适” 方案，以解决 fine-tuning 过程对预训练模型通用性的破坏，实验证明此方案在各种任务和模型（ViTs，NFNets 和 ResNets）上表现良好。

Apr, 2023

基于选择性注意力的体感人工智能的参数高效的视觉刺激过滤方法在目标导航和目标位置变换等任务中展现出最先进的性能，并且在其他仿真环境中具有更好的泛化性和更快的收敛速度。

Nov, 2023