Nov, 2023

基于 Transformer 的无源领域自适应中非因果因素的对齐

PDF
TL;DR我们提出了一种 Causality-enforcing Source-Free Transformer (C-SFTrans) 框架，通过对非因果因子进行对齐以实现因果因子对齐，我们发现视觉 transformers (ViTs) 在隐私保护的无源设置中发挥了重要作用，并在几个领域自适应基准中取得了最先进的结果。
domain adaptationspurious correlationcausal factor alignmentnon-causal factor alignmentvision transformers
发现论文，激发创造
  • 领域特异性引导变形器以实现无来源领域适应

    在隐私导向的无源情况下，我们提出了一种使用视觉转换器进行领域适应的方法，通过构建领域可辨识输入（DRI），利用查询提取特定领域信息，并在统一模型中实现领域特异性和任务特异性的解耦和学习，实现了在单源、多源和多目标基准上的最先进性能。

    Aug, 2023

  • 基于 Transformer 的无源域自适应

    本研究提出了一种基于 Transformer 的通用转换框架 TransDA，通过将 Transformer 作为注意力机制注入卷积网络中并针对目标伪标签进行自监督知识蒸馏方法，将模型的注意力集中于目标域的对象区域，提高了模型的泛化能力，并在三个领域自适应任务中获得了最先进的结果。

    May, 2021

  • 多视角对抗鉴别器：在未见域中挖掘非因果因素进行物体检测

    该研究提出了一个 Multi-view Adversarial Discriminator（MAD）模型，利用多视图对源域进行对抗训练，去除非因果因素并净化域不变特征，提高对象检测模型的 domain generalization 性能。

    Apr, 2023

  • 通用源自由域自适应

    该研究提出了一种新的两阶段学习过程，以实现无监督域适应并实现源自由部署。在采购阶段，通过利用现有的源数据，在新颖的生成分类器框架中增强了模型拒绝源外分布样本的能力；在部署阶段，通过使用命名为源相似度度量的新型实例级加权机制，提出了一个简单而有效的源自由自适应目标，以设计一个统一的自适应算法，该算法可在各种范畴差异下运作，并实现了卓越的域适应性能。

    Apr, 2020

  • 统一无源领域适应

    统一的无源领域适应问题中，通过采用潜在因果因素发现方法（LCFD）和预训练的视觉 - 语言模型（如 CLIP），可以有效提高学习模型对领域变化的可靠性和鲁棒性，并在不同的无源领域适应设置和无源领域外泛化上取得了新的最先进结果。

    Mar, 2024

  • 泛化再适应：无需源域数据的领域自适应语义分割

    本文提出了一种利用多头框架和自学习提取可靠目标伪标签以实现无源自适应的方法，并引入了一个新的条件先验强制自编码器以改善伪标签质量。实验证明该方法在标准测试基准上显示出较高性能，并显示出与在线适应的兼容性。

    Aug, 2021

  • 基于交叉注意力的前馈无源隐空域自适应

    本文研究深度学习中前馈源自适应的应用及其改进，通过交叉关注机制自适应目标数据集，探索自动化实例选取提升性能，实验表明我们提出的框架能显著改进现有方法。

    Jul, 2022

  • 由视觉和视觉语言预训练引导的无源域自适应

    灵活的源免领域自适应（SFDA）框架，通过融合预训练网络，提升了适应性能，并能成功整合现有的 SFDA 方法。

    May, 2024

  • 兼顾两种世界：面向领域的 Transformer 用于无监督领域自适应

    提出了一种基于 Domain-Oriented Transformer 的无监督域自适应方法，通过在不同的领域中聚焦于不同的特征空间进行特征对齐，并为每个领域创建一个特定的面向域的分类器，该方法在多个基准测试中取得了最先进的效果。

    Aug, 2022

  • SF (DA)$^2$: 无源领域适应的数据增强视角

    通过数据增强技术，我们提出了一种名为 SF (DA)^2 的新方法，它克服了先前能提出的源无关域适应方法在类保持变换和内存、计算需求等方面的挑战，并在 SFDA 场景中展现了卓越的适应性能。

    Mar, 2024