CVPRApr, 2023

基于 CLIP 的开放集视频领域自适应框架 AutoLabel

PDF
TL;DR本研究提出了一种基于预训练语言和视觉模型的 open-set 无监督视频域自适应方法，并引入了 AutoLabel 来发现和生成目标专有类别的类名，通过改进的 CLIP 模型可以有效地对目标专有的类别进行识别，并提高两个域之间分享类别的对齐。
open-set unsupervised video domain adaptationaction recognitionlanguage and vision modelszero-shot recognitionautolabel
发现论文，激发创造
  • 具有视觉 - 语言基础模型的开放域适应

    无监督域自适应对标记数据集域与无标记数据集域之间的知识转移非常有效，开放集域自适应解决了目标域中可能存在的未知类别问题，这项工作探索了使用 CLIP 来应用于开放集域自适应的通用方法，并通过熵优化策略提高了模型性能，提供了在多个基准测试上最新的结果，证明了其在解决目标域适应问题中的有效性。

    Jul, 2023

  • 基于对象的（却不局限于类的）视频领域适应

    视频领域适应的对象化（但类别不可知）视频领域适应（ODAPT）框架通过利用目标领域中一组稀疏的具有类别不可知对象注释的帧来适应现有的动作识别系统，为新领域的适应提供了一种简单而有效的方法。

    Nov, 2023

  • 跨领域开放词汇行为识别中基于 CLIP 的视频学习方法的重新思考

    基于 CLIP 的视频学习器在跨领域的开放词汇动作识别任务中表现受限，本文通过建立一个名为 XOV-Action 的跨领域开放词汇动作识别基准以及提出一种新颖的场景感知视频 - 文本对齐方法，来应对这一挑战，实验结果验证了我们方法的有效性。

    Mar, 2024

  • ReCLIP：使用源域自适应提炼对比语言图像预训练

    通过提出 ReCLIP 方法，第一个无需源数据或目标标记数据的视觉 - 语言模型领域自适应方法，该方法使用伪标签进行交叉模态自训练以减小领域间差异和错位对模型性能的影响，在 22 个图像分类基准测试中将 CLIP 的平均错误率从 30.17% 降低到 25.06%。

    Aug, 2023

  • CLIP 引导的无源目标检测在航空图像中

    我们提出了一种新颖的无源物体检测（SFOD）方法，利用对比式语言 - 图像预训练（CLIP）引导生成伪标签进行自我训练，以实现在领域适应中的准确学习。实验结果表明，我们的方法优于其他比较算法。

    Jan, 2024

  • 图像和行为识别的开放域适应性

    提出了一种应对开放域数据集且能用于无监督和半监督领域自适应的方法，该方法在图像分类和动作识别等任务上实现了最先进的结果。

    Jul, 2019

  • VadCLIP: 适应弱监督视频异常检测的视觉语言模型

    通过直接利用对比式语言 - 图像预训练模型 (CLIP) 在视频领域的强大表示能力和设计鲁棒的视频异常检测器，本文提出了 VadCLIP，一种弱监督视频异常检测范例，无需预训练和微调过程，通过双分支实现粗粒度和细粒度的视频异常检测，实验结果在两个常用基准上表现出色，超越了目前其他方法一大截。

    Aug, 2023

  • AD-CLIP: 利用 CLIP 在提示空间中调适领域

    使用 AD-CLIP 解决图像领域适应问题，通过在 prompt 空间中提取图像风格和内容信息，采用标准的有监督对比学习和最小熵策略来对齐源领域和目标领域，同时提出跨领域风格映射网络来生成领域无关的标记，实验证明了 AD-CLIP 的有效性。

    Aug, 2023

  • CLIP-VIS：适应开放词汇视频实例分割

    本研究提出了一个名为 CLIP-VIS 的简单编码器 - 解码器网络，用于自适应开放词汇视频实例分割。CLIP-VIS 采用冻结的 CLIP 图像编码器，并引入了类不可知的掩码生成、时序 Top-K 增强匹配和加权开放词汇分类三个模块，实验结果表明该方法在各种视频实例分割数据集上表现出色。

    Mar, 2024

  • 域对齐的 CLIP 用于少样本分类

    在这项工作中，我们介绍了一种用于 CLIP 的样本高效领域适应策略，称为 Domain Aligned CLIP (DAC)，它在不对主模型进行全量微调的情况下，改进了目标分布上的内部模态对齐和跨模态对齐。通过引入一个轻量级的适配器和一个简单的框架调节类文本嵌入，DAC 提供了一个计算效率高、抗分布转移性强且不改变 CLIP 参数的少样本微调框架，在 11 个广泛使用的图像分类任务中，以 2.3% 的提升应对 16 个样本分类挑战，并在 4 个鲁棒性基准上展现出竞争性能。

    Nov, 2023