Nov, 2023

基于冻结多模式基础模型的无源域自适应

HTML
PDF
TL;DR源无关领域适应 (SFDA) 旨在适应一个源模型到目标领域，只能访问标记有监督源领域的预先训练的模型和无标记目标培训数据。我们首次探索了富含异构知识的现成视觉-语言多模态模型 (例如 CLIP) 的潜力，提出了一种新颖的蒸馏多模态基础模型 (DIFO)方法来解决现有方法中不可避免的错误问题，并通过两个步骤的交替来使其任务特定化，实验结果表明 DIFO 显著优于现有的替代方法。
发现论文，激发创造
  • 面向开放集领域自适应的可继承模型

    在没有使用带标签源数据集的情况下，提出了一种新颖的领域适配范式，其中源培训模型被用于实现适应。该方法包括一种知识继承度量方法，以及一种可实现适应的继承模型选择方法。在视觉识别任务中进行综合实验评估，取得了最先进的开放域适配性能。

    Apr, 2020

  • 基于图像翻译的无源域适配

    本文研究了源自由的领域自适应问题，提出了使用图像转换方法将目标图像的风格转换为未见过的源图像的方法，从而使得使用预训练模型对转换后的图像进行分类可以得到更高的准确率。

    Aug, 2020

  • 泛化的零样本域自适应

    本文提出了一种广义源自由域自适应（G-SFDA）的新域自适应范例，其中仅在自适应期间访问当前未标记的目标数据，该方法基于局部结构聚类（LSC）和稀疏域注意力（SDA）以保持源信息的同时为不同领域激活不同的特征通道。实验表明，本文所提出的方法的目标表现与现有域自适应（DA）和源自由域自适应（SFDA）方法相当或更好，并在VisDA上实现了最先进的性能（85.4％）。

    Aug, 2021

  • 基于CoNMix的无源单目标和多目标域自适应

    该研究提出了Source-free Multi-target Domain Adaptation的新任务，并采用由Consistency with Nuclear-Norm Maximization和MixUp knowledge distillation（CoNMix）组成的适应性框架作为解决此问题的方法。该框架利用目标伪标签改善目标适应性，并使用伪标签细化方法减少噪声伪标签。此外，我们还提出了MixUp Knowledge Distillation（MKD）用于改进多个目标域的泛化能力，并展示了Vision Transformer（VT）骨干具有更好的特征表示和分类可辨别性。最终，该框架在多种源自由STDA和MTDA设置的流行域适应数据集上实现了最先进的成果。

    Nov, 2022

  • 具有视觉-语言基础模型的开放域适应

    无监督域自适应对标记数据集域与无标记数据集域之间的知识转移非常有效，开放集域自适应解决了目标域中可能存在的未知类别问题，这项工作探索了使用CLIP来应用于开放集域自适应的通用方法，并通过熵优化策略提高了模型性能，提供了在多个基准测试上最新的结果，证明了其在解决目标域适应问题中的有效性。

    Jul, 2023

  • 大型语言-视觉模型对无源视频领域自适应的非理性有效性

    利用大型语言视觉模型（LLVMs）进行领域自适应以提升无源视频无监督领域自适应（SFVUDA）方法的效果。

    Aug, 2023

  • 将视觉-语言模型的固有知识与无监督领域自适应相结合的自知识蒸馏

    无监督领域自适应(UDA)通过利用标记的源数据集并将其知识转移到相似但不同的目标数据集，克服了标记数据的繁琐工作。本文结合UDA获得的知识与视觉-语言模型的内在知识。通过视觉-语言模型生成源数据集和目标数据集的零样本预测，调整分布以凸显获胜概率，同时使用源数据和目标数据以保持相对置信度。我们通过传统的领域自适应方法和自知识蒸馏法结合实现对源数据集的知识获取，并将该方法与一种渐进源域扩展策略(GSDE)相结合，结果表明零样本预测也有益处。我们在三个基准测试集(OfficeHome、VisDA和DomainNet)上进行实验和消融研究，超过了最先进的方法，并在消融研究中展示了我们算法不同部分的贡献。

    Dec, 2023

  • LanDA: 语言引导的多源域自适应

    使用多模态模型和联合图像与语言嵌入空间，我们提出了一种基于最优传递理论的新型语言引导多源域适应（LanDA）方法，可以通过目标域的文本描述进行域适应，而无需任何目标域图像，并且在目标和源域都优于标准微调和集成方法。

    Jan, 2024

  • 由视觉和视觉语言预训练引导的无源域自适应

    灵活的源免领域自适应（SFDA）框架，通过融合预训练网络，提升了适应性能，并能成功整合现有的SFDA方法。

    May, 2024

  • 无源领域自适应的代理去噪

    提出一种基于代理去噪的源无关领域适应方法，通过利用大视觉-语言（ViL）模型来纠正预测，达到在潜在的领域无关空间中促进适应过程的目的。实验证明该方法在常规闭集、挑战性开集、部分集和广义SFDA设置下明显优于现有的技术。

    Jun, 2024