Nov, 2023

CLIP-AD：语言导向的分层双路径零样本异常检测模型

PDF
TL;DR本文介绍了一种利用大型视觉语言模型 CLIP 的零样本异常检测方法 CLIP-AD，采用语言引导策略，通过引入 Staged Dual-Path 模型来解决相似度计算、关键特征、文本与图像特征等问题，进一步引入线性层进行 fine-tuning 来增强性能。实验证明，该方法在分类 / 分割 F1 分数上优于现有方法 1.0/1.2，并且经过扩展的模型 SDP + 可以获得进一步的改进，提高了分类 / 分割 F1 分数 1.9/11.7。
发现论文，激发创造
  • 双图强化 CLIP 用于零样本异常检测

    通过引入双图增强 CLIP 方法，结合视觉 - 语言评分系统，对图像异常检测进行了增强，包括利用图像进行相互参考以增强推理过程的视觉环境，以及在测试时引入合成异常来提高定位能力。该方法充分利用了视觉 - 语言联合异常检测的潜力，并在各种数据集上展现了与当前最先进方法相媲美的性能。

    May, 2024

  • AnomalyCLIP: 面向对象无关的零样本异常检测的提示学习

    AnomalyCLIP 通过学习无关物体的文本提示来捕捉图像中的通常和异常，从而实现了对高度多样的物体数据集进行广义正常性和异常性识别的零样本卓越性能。

    Oct, 2023

  • 通过适应预训练视觉语言模型进行异常检测

    我们提出了一个统一的框架 CLIP-ADA 用于通过适应预训练 CLIP 模型进行异常检测，在这个框架中，我们通过引入可学习的提示，并通过自监督学习将其与异常模式关联起来，从而获得多类别工业图像上的统一异常检测，并且通过引入异常区域细化策略来充分利用 CLIP 的表示能力来提高定位质量，我们的框架在 MVTec-AD 和 VisA 上取得了 97.5/55.6 和 89.3/33.1 的最新成果，以及在极小的训练数据下取得了令人鼓舞的性能，这更具挑战性。

    Mar, 2024

  • VadCLIP: 适应弱监督视频异常检测的视觉语言模型

    通过直接利用对比式语言 - 图像预训练模型 (CLIP) 在视频领域的强大表示能力和设计鲁棒的视频异常检测器，本文提出了 VadCLIP，一种弱监督视频异常检测范例，无需预训练和微调过程，通过双分支实现粗粒度和细粒度的视频异常检测，实验结果在两个常用基准上表现出色，超越了目前其他方法一大截。

    Aug, 2023

  • CLIP3D-AD：使用多视角图像生成扩展 CLIP 进行 3D 小样本异常检测

    我们在本文中提出了 CLIP3D-AD，一种有效的应用于 3D-FSAD 的方法，通过合成异常图像来实现基于 CLIP 的 3D 异常分类和分割，通过融合多视角图像的特征来加强视觉 - 语言相关性。

    Jun, 2024

  • AnoVL：面向统一零样本异常定位的视觉语言模型适应

    使用 Contrastive Language-Image Pre-training (CLIP) 模型进行零样本异常检测，通过学习自然语言监督下的视觉表示，构建文本提示与全局图像级别表示之间的对应关系，采用训练自由的价值关注机制提取 CLIP 的内在局部标记以进行精确定位，设计一个统一的领域感知对比状态提示模板，通过测试时的自适应机制进一步优化异常定位结果。

    Aug, 2023

  • 使用 CLIP 的随机词数据增强技术进行零样本异常检测

    提出了一种利用视觉 - 语言模型 CLIP 作为零样本异常检测的数据源的新方法，通过在滑动窗口方式下对图像的每个部分应用提示引导分类，通过生成文本嵌入来训练前馈神经网络，从 CLIP 的嵌入中提取正常和异常特征，实现了无需训练图像的无类别异类检测，取得了零样本设置下的最新性能。

    Aug, 2023

  • 面向医学图像的通用异常检测的视觉语言模型的适应

    本文介绍了一种用于医学异常检测的轻量级多层次自适应对比框架，通过将多个残差适配器整合到预训练的视觉编码器中，通过多级像素级视觉 - 语言特征对齐损失函数引导多级适应，使其适用于医学图像。实验结果表明，我们的方法在医学异常检测基准上显著超越了当前最先进的模型，在零样本和少样本情况下分别实现了 6.24% 和 7.33% 的平均 AUC 提升用于异常分类，以及 2.03% 和 2.37% 的平均 AUC 提升用于异常分割。

    Mar, 2024

  • CLIP-Adapter: 特征适配器提升视觉语言模型

    本文提出一种新的视觉语言模型 fine-tuning 方式 ——CLIP-Adapter，通过在原训练模型上加入新特征层并进行残差式混合来实现，在各种视觉分类任务中表现优异，优于 context optimization

    Oct, 2021

  • CVPR 2023 VAND 工作坊挑战赛 1 和 2 的零 / 少样本异常分类和分割方法：在零样本 AD 上获得第一名，在少样本 AD 上获得第四名

    本文介绍了用于工业视觉检测的一个方案，该方案使用 CLIP 模型和多个存储器来实现无标准参考图像的零射和少射跟踪，从而实现对大量产品类型的快速自适应，并在 VAND 2023 挑战赛中获得了一等奖。

    May, 2023