CVPRMar, 2023

基于半监督领域适应的 Patch-Mix Transformer 模型：从游戏角度出发

PDF
TL;DR本文提出了一种名为 PMTrans 的模型，从博弈论的角度解决了视觉转换器在挑战性无监督领域自适应（UDA）任务中的问题，通过提出一种基于 ViT 的模块 ——PatchMix 的方法来有效地建立中间域，并利用特征和标签空间中的两个半监督 mixup 损失将它们最小化，以此将源域和目标域相连，以实现最大化交叉熵。通过这样做，我们将 UDA 的过程解释为由特征提取器、分类器和 PatchMix 组成的三方最小 - 最大交叉熵游戏，以找到纳什均衡，并利用 ViT 的注意力图重新加权每个补丁的标签，以获得更多的域辨别特征表示。经过对四个基准数据集的广泛实验，结果表明，PMTrans 在 Office-Home 上超过了 ViT 和 CNN 等最先进的方法 3.6％，在 Office-31 上超过了 1.4％，在 DomainNet 上超过了 17.7％。
vision transformerunsupervised domain adaptationgame theorycross-entropyattention maps
发现论文，激发创造
  • 基于视觉转换器的对抗领域自适应

    无监督领域自适应方法已取得了最新的优秀成果，并大多数使用了卷积神经网络作为特征提取器，然而视觉转换器虽已被广泛应用于计算机视觉任务，却未在对抗性领域自适应中研究过，本文填补了这一空白，并证明视觉转换器可直接应用于现有的对抗性领域自适应方法，以提升性能。

    Apr, 2024

  • TVT：基于视觉 Transformer 的无监督域自适应模型

    本研究提出了一种名为 “可传递视觉 Transformer” 的统一框架，其中融合了迁移学习、注意力机制和聚类方法，以实现基于标签源域的无标签目标域的知识迁移。 实验证明，本文所提出的 TVT 方法优于现有的微调和迁移学习方法，通过注入可学习的传递性适应模块来强制 ViT 集中注意力在可转移和辨别性特征上，并借助判别性聚类来增强特征多样性和分离度。

    Aug, 2021

  • CDTrans: 跨领域 Transformer 方法的无监督领域自适应

    本文提出了一种基于 Transformer 的无监督领域自适应方法 CDTrans，采用双向中心感知标签算法生成准确的伪标签，采用权值共享的三支架 Transformer 框架对源 / 目标特征学习和源目标领域对齐进行自关注和交叉关注，实现了同时学习区分性领域 - 特定和领域不变表示的显式设计，实验证明该方法在公共数据集上的表现优于现有方法。

    Sep, 2021

  • TransferAttn：可传递引导的注意力是视频领域自适应的必需

    使用转换器图层作为特征编码器，将空间和时间的可传递性关系融入到注意机制中，提出了 TransferAttn 框架以适应不同骨干的跨领域知识，通过改变自注意机制为可传递性注意机制，引入 DTAB 模块来增加 ViT 的可传递性，验证了 TransferAttn 和 DTAB 在多个数据集和不同骨干下的有效性。

    Jul, 2024

  • TransMix：面向 Transformer 视觉任务的混合注意力机制

    本文提出了一种名为 TransMix 的混合标签方法，基于 ViT 的注意力图混合标签，这种方法不需要引入额外的参数和 FLOP，并且在不同的基于 ImageNet 数据集的分类任务中都能够显著提高 ViT 的性能以及在语义分割，目标检测和实例分割上的迁移能力，同时在 4 种不同数据集的评估中也表现得更加稳健。

    Nov, 2021

  • 兼顾两种世界：面向领域的 Transformer 用于无监督领域自适应

    提出了一种基于 Domain-Oriented Transformer 的无监督域自适应方法，通过在不同的领域中聚焦于不同的特征空间进行特征对齐，并为每个领域创建一个特定的面向域的分类器，该方法在多个基准测试中取得了最先进的效果。

    Aug, 2022

  • PaCa-ViT: 在 Vision Transformers 中学习 Patch-to-Cluster Attention

    该研究论文提出了一种基于 Patch-to-Cluster attention 的 ViT 模型，通过聚类学习从而获得更好的记号以及更好的模型解释性能，并在 ImageNet-1k、MS-COCO 物体检测和实例分割以及 MIT-ADE20k 语义分割三个基准测试中获得了比 SWin 和 PVTs 更好的表现。

    Mar, 2022

  • 利用视觉变换器改善无源目标适应性，以削弱域表示图像

    该研究以无监督域自适应为主题，探索了如何利用关键元素来强化 Vision Transformers 在无源目标适应中的性能，通过引入域表示图像（DRIs）作为关键组件，提高了 Transformer 在领域泛化中的效率。

    Nov, 2023

  • 无监督域自适应的虚拟混合训练

    本文提出一种叫做 Virtual Mixup Training 的新方法，该方法可以将局部 Lipschitz 约束性应用到训练数据间距的区域中，不需要使用标签信息，适用于无监督域自适应。结果表明，VMT 显著提高了 VADA 在六个领域适应基准数据集上的性能，尤其是将 MNIST 适应到 SVHN 的挑战性任务中，VMT 可以将 VADA 的准确性提高 30% 以上。

    May, 2019

  • 面向领域自适应语义分割的上下文感知混合技术

    本文提出一种新的上下文感知混合框架（CAMix），用于域自适应语义分割，通过引入上下文相关性作为显式先验知识，以完全端到端的可训练方式增强了对目标域的适应性，并在三个不同的水平上引导上下文感知域组合。

    Aug, 2021