CLIP驱动的无监督领域自适应

Jul, 2024

CLIP the Divergence: Language-guided Unsupervised Domain Adaptation

Jinjing Zhu, Yucheng Chen, Lin Wang

TL;DR通过直接利用CLIP进行领域间差异度量，提出了一种新颖的以语言为导向的无监督域自适应方法CLIP-Div，通过收集到的领域不可知分布度量领域差异并使用语言引导校准目标伪标签，从而有效减小领域差距并提高模型的泛化能力，实验证明此方法在Office-Home、Office-31、VisDA-2017和DomainNet数据集上均表现优于基于CNN的现有方法。

Abstract

Unsupervised domain adaption (UDA) has emerged as a popular solution to tackle the divergence between the labeled source and unlabeled target domains. Recently, some research efforts have been made to leverage large vision-language models, such as CLIP, and then fine-tune or learn prompts from them for addressing the challenging UDA task. In this work, we sh

发现论文，激发创造

无监督批归一化适应（UBNA）：一种域自适应方法，用于语义分割而不使用源域表示

本文提出一种新颖的无监督归一化层自适应方法(Unsupervised BatchNorm Adaptation, UBNA)，该方法通过部分适应归一化层统计来将给定的预训练模型适应到看不见的目标领域，无需使用来自源领域的任何表示(既没有数据也没有网络)，并且可以以在线方式或者在使用目标领域中的少量未标记图像的情况下，以几次样本的方式进行。通过评估利用标准的无监督领域适应基准的语义分割，我们展示了这比没有适应和使用仅从目标域中获得的统计数据的基线方法优越，并且与标准的无监督领域适应方法相比，我们报告了性能和使用源领域表示之间的权衡。

Nov, 2020

基于基础模型的通用领域适应

基于基础模型（如CLIP或DINOv2），本文通过全面实证研究最新的通用域自适应方法，发现现有方法往往无法超越基准线表现；作者提出了一种简单的基于目标数据提炼的方法，并在所有通用分类率基准测试中实现了一致的改进，提出了新的评价指标UCR来解决使用现有的H-score度量时遇到的阈值敏感问题。

May, 2023

无需目标域标签，如何评估领域自适应模型？一种无监督领域自适应评估指标

本文提出了一种称为Transfer Score的度量标准，它通过评估分类器的空间均匀性、特征空间的传递性和区分度，实现了无监督评估域自适应模型的功能，并在公共数据集上进行了广泛的实证研究，证明了Transfer Score度量标准在评估和提高自适应技术整体效果方面的工具性和潜力。

May, 2023

具有视觉-语言基础模型的开放域适应

无监督域自适应对标记数据集域与无标记数据集域之间的知识转移非常有效，开放集域自适应解决了目标域中可能存在的未知类别问题，这项工作探索了使用CLIP来应用于开放集域自适应的通用方法，并通过熵优化策略提高了模型性能，提供了在多个基准测试上最新的结果，证明了其在解决目标域适应问题中的有效性。

Jul, 2023

AD-CLIP: 利用CLIP在提示空间中调适领域

使用AD-CLIP解决图像领域适应问题，通过在prompt空间中提取图像风格和内容信息，采用标准的有监督对比学习和最小熵策略来对齐源领域和目标领域，同时提出跨领域风格映射网络来生成领域无关的标记，实验证明了AD-CLIP的有效性。

Aug, 2023

将视觉-语言模型的固有知识与无监督领域自适应相结合的自知识蒸馏

无监督领域自适应(UDA)通过利用标记的源数据集并将其知识转移到相似但不同的目标数据集，克服了标记数据的繁琐工作。本文结合UDA获得的知识与视觉-语言模型的内在知识。通过视觉-语言模型生成源数据集和目标数据集的零样本预测，调整分布以凸显获胜概率，同时使用源数据和目标数据以保持相对置信度。我们通过传统的领域自适应方法和自知识蒸馏法结合实现对源数据集的知识获取，并将该方法与一种渐进源域扩展策略(GSDE)相结合，结果表明零样本预测也有益处。我们在三个基准测试集(OfficeHome、VisDA和DomainNet)上进行实验和消融研究，超过了最先进的方法，并在消融研究中展示了我们算法不同部分的贡献。

Dec, 2023

DomainVerse:针对真实世界分布变化的基准测试，用于无需调整的自适应域泛化

传统的跨领域任务依赖于通过源领域数据训练模型；随着视觉语言模型 (VLMs) 最近的进展，跨领域任务转变为直接将预先训练的源模型与具有先验领域知识的任意目标领域进行适应，我们将其命名为自适应领域泛化 (ADG) 任务；然而，当前的跨领域数据集存在许多限制，我们为此建立了一个新的 DomainVerse 数据集，为 ADG 提供了层次化的领域转换定义和约 39 万细粒度真实领域的图像，然后通过构建的 DomainVerse 和 VLMs，我们提出了两种称为 Domain CLIP 和 Domain++ CLIP 的免调优自适应领域泛化方法；广泛而全面的实验证明了数据集的重要性及所提出方法的有效性。

Mar, 2024

分合：统一分离模式的非监督领域适应

大型视觉语言模型（VLM）如CLIP在无监督域自适应任务中表现出良好的零样本学习性能，为了充分利用语言和视觉之间微妙的相互作用，本文引入了一种统一的模态分离（UniMoS）框架进行无监督域自适应，通过利用模态间差异研究的见解，我们设计了一种灵活的模态分离网络，将CLIP的特征明确地分解为与语言相关和与视觉相关的部分，我们提出的模态集成训练（MET）方法促进了模态无关信息的交换，同时保留了模态特定的细微差别，通过模态鉴别器在域间进行特征对齐，我们全面评估了三个基准数据集，结果显示我们的方法以极小的计算成本取得了新的最先进水平。

Mar, 2024

CLIPArTT: 测试时基于新领域的CLIP轻量级适应

通过在推理过程中自动构建文本提示并使用其作为文本监督，CLIPArTT方法在不需要额外培训的情况下，通过独特的、最小侵入性的文本提示调优过程，使预训练视觉-语言模型在各种数据集和环境中动态提升性能并改善适应性。

May, 2024

利用视觉-语言预训练的无监督领域适应

本文解决了无监督领域适应 (UDA) 中的两个关键挑战，尤其是探索视觉-语言预训练 (VLP) 模型的潜力。提出了一种新方法——跨模态知识蒸馏 (CMKD)，利用VLP模型作为教师模型来指导目标领域的学习，从而实现了业界领先的性能。此外，提出的残差稀疏训练 (RST) 技术通过最小调整VLP模型参数来降低存储开销与模型部署的复杂性，显著提高了效率。

Aug, 2024