Nov, 2023

基于Transformer的无源领域自适应中非因果因素的对齐

HTML
PDF
TL;DR我们提出了一种Causality-enforcing Source-Free Transformer (C-SFTrans)框架，通过对非因果因子进行对齐以实现因果因子对齐，我们发现视觉transformers (ViTs)在隐私保护的无源设置中发挥了重要作用，并在几个领域自适应基准中取得了最先进的结果。
发现论文，激发创造
  • DiDA：面向域自适应的解耦合成方法

    本文提出了一种利用解脱分析提高保持领域适应性能的方法，通过分别提取共同特征和特定领域特征，可以合成更多带有监督的目标域数据，从而提高领域适应性能。

    May, 2018

  • 域不变表示中的支持和可逆性

    研究表明，学习领域不变表示已成为非监督领域适应的一种流行方法，但其局限性主要在于非反演变换中丢失的信息以及领域不变性是一个过于严格的要求，本研究提出了一种权衡代价的一般化界限，并建议使用测量源域覆盖目标域范围的范围来提高性能。

    Mar, 2019

  • 基于Transformer的无源域自适应

    本研究提出了一种基于Transformer的通用转换框架TransDA，通过将Transformer作为注意力机制注入卷积网络中并针对目标伪标签进行自监督知识蒸馏方法，将模型的注意力集中于目标域的对象区域，提高了模型的泛化能力，并在三个领域自适应任务中获得了最先进的结果。

    May, 2021

  • 无监督领域自适应的因果机制传输

    本文提出了一种实用的解决方案， Transporting Causal Mechanisms (TCM) ，通过使用无监督发现的领域不变分离的因果机制来识别混淆层和表示，从而解决了无监督域适应中的语义丢失问题，并在三个具有挑战性的 UDA 基准测试中取得了最先进的性能。

    Jul, 2021

  • 基于Transformer的领域自适应的安全自我完善

    本文提出了一种名为SSRT的无监督领域自适应方法，采用Transformer作为骨干网络，并结合安全自我精炼策略，在多个已有的领域适应基准测试中取得了最佳结果。

    Apr, 2022

  • 平衡辨识性和迁移性以实现无源域自适应

    在源-无源领域自适应（DA）场景下，本文提出了一种混合原始和对应的泛化样本的解决方案，用于提高领域的转移能力和保护隐私，在现有的无源 DA 方法上实现提高识别和转移的平衡，并在分类和语义分割任务上实现了最先进的性能，在单源和多源场景下均给出实验验证。

    Jun, 2022

  • 兼顾两种世界：面向领域的Transformer用于无监督领域自适应

    提出了一种基于Domain-Oriented Transformer的无监督域自适应方法，通过在不同的领域中聚焦于不同的特征空间进行特征对齐，并为每个领域创建一个特定的面向域的分类器，该方法在多个基准测试中取得了最先进的效果。

    Aug, 2022

  • 领域特异性引导变形器以实现无来源领域适应

    在隐私导向的无源情况下，我们提出了一种使用视觉转换器进行领域适应的方法，通过构建领域可辨识输入（DRI），利用查询提取特定领域信息，并在统一模型中实现领域特异性和任务特异性的解耦和学习，实现了在单源、多源和多目标基准上的最先进性能。

    Aug, 2023

  • 统一无源领域适应

    统一的无源领域适应问题中，通过采用潜在因果因素发现方法（LCFD）和预训练的视觉-语言模型（如CLIP），可以有效提高学习模型对领域变化的可靠性和鲁棒性，并在不同的无源领域适应设置和无源领域外泛化上取得了新的最先进结果。

    Mar, 2024

  • 视觉Transformer在领域适应与泛化中的应用：鲁棒性研究

    本文研究了视觉Transformer在领域适应和领域泛化方案中的应用，包括特征级、实例级、模型级以及混合方法的适应，以及多领域学习、元学习、正则化技术和数据增强策略的领域泛化方法，总结了各种与分布变化相关的策略，并提供了有价值的洞见和综合表格，展示了视觉Transformer在处理分布变化方面的多样性和实用性。

    Apr, 2024