Nov, 2023

利用视觉变换器改善无源目标适应性，以削弱域表示图像

HTML
PDF
TL;DR该研究以无监督域自适应为主题，探索了如何利用关键元素来强化Vision Transformers在无源目标适应中的性能，通过引入域表示图像（DRIs）作为关键组件，提高了Transformer在领域泛化中的效率。
发现论文，激发创造
  • 视觉应用的域自适应：一份综合调查

    本文介绍领域自适应和迁移学习的概述，涵盖不同类型的方案和历史浅层方法、深度卷积架构、超出图像分类的领域适应方法，以及将领域适应与其他机器学习解决方案相关联的讨论。

    Feb, 2017

  • 单源深度无监督视觉域自适应综述

    本文综述了最新的单源深度无监督域适应方法，主要集中在视觉任务中，并讨论了未来研究的新视角。首先介绍了不同领域适应策略的定义和现有基准数据集的描述，然后总结和比较了不同类别的单源无监督域适应方法，包括基于差异性的方法，对抗式鉴别方法，对抗式生成方法和自监督方法，并探讨了未来的研究方向、挑战和可能的解决方案。

    Sep, 2020

  • 测试时无监督领域自适应

    本研究提出了一种测试时间域自适应评估框架，该框架表明了针对测试数据进行领域适应可以优于在目标领域中看到更多数据的领域适应方法，支持无监督域自适应应在测试时间使用，即使只使用单个目标领域主题。

    Oct, 2020

  • 基于Transformer的无源域自适应

    本研究提出了一种基于Transformer的通用转换框架TransDA，通过将Transformer作为注意力机制注入卷积网络中并针对目标伪标签进行自监督知识蒸馏方法，将模型的注意力集中于目标域的对象区域，提高了模型的泛化能力，并在三个领域自适应任务中获得了最先进的结果。

    May, 2021

  • TVT：基于视觉 Transformer 的无监督域自适应模型

    本研究提出了一种名为“可传递视觉Transformer”的统一框架，其中融合了迁移学习、注意力机制和聚类方法，以实现基于标签源域的无标签目标域的知识迁移。 实验证明，本文所提出的TVT方法优于现有的微调和迁移学习方法，通过注入可学习的传递性适应模块来强制ViT集中注意力在可转移和辨别性特征上，并借助判别性聚类来增强特征多样性和分离度。

    Aug, 2021

  • 基于Transformer的领域自适应的安全自我完善

    本文提出了一种名为SSRT的无监督领域自适应方法，采用Transformer作为骨干网络，并结合安全自我精炼策略，在多个已有的领域适应基准测试中取得了最佳结果。

    Apr, 2022

  • 领域泛化的Prompt视觉Transformer

    本论文提出了基于prompt learning的全新方法DoPrompt，利用domain prompts嵌入源域的知识进行目标域的预测，针对视觉转换器(ViT)在领域泛化方面存在的问题，经过大量实验证明本文方法在四个基准数据集上获得了1.4%的精度提高，是基于ViT骨干结构的状态-of-the-art算法的3.5倍。

    Aug, 2022

  • 领域特异性引导变形器以实现无来源领域适应

    在隐私导向的无源情况下，我们提出了一种使用视觉转换器进行领域适应的方法，通过构建领域可辨识输入（DRI），利用查询提取特定领域信息，并在统一模型中实现领域特异性和任务特异性的解耦和学习，实现了在单源、多源和多目标基准上的最先进性能。

    Aug, 2023

  • 视觉Transformer在领域适应与泛化中的应用：鲁棒性研究

    本文研究了视觉Transformer在领域适应和领域泛化方案中的应用，包括特征级、实例级、模型级以及混合方法的适应，以及多领域学习、元学习、正则化技术和数据增强策略的领域泛化方法，总结了各种与分布变化相关的策略，并提供了有价值的洞见和综合表格，展示了视觉Transformer在处理分布变化方面的多样性和实用性。

    Apr, 2024

  • 基于视觉转换器的对抗领域自适应

    无监督领域自适应方法已取得了最新的优秀成果，并大多数使用了卷积神经网络作为特征提取器，然而视觉转换器虽已被广泛应用于计算机视觉任务，却未在对抗性领域自适应中研究过，本文填补了这一空白，并证明视觉转换器可直接应用于现有的对抗性领域自适应方法，以提升性能。

    Apr, 2024