AnomalyCLIP: 面向对象无关的零样本异常检测的提示学习

Oct, 2023

AnomalyCLIP: 面向对象无关的零样本异常检测的提示学习

AnomalyCLIP: Object-agnostic Prompt Learning for Zero-shot Anomaly Detection

Qihang Zhou, Guansong Pang, Yu Tian, Shibo He, Jiming Chen

TL;DRAnomalyCLIP 通过学习无关物体的文本提示来捕捉图像中的通常和异常，从而实现了对高度多样的物体数据集进行广义正常性和异常性识别的零样本卓越性能。

Abstract

zero-shot anomaly detection (ZSAD) requires detection models trained using auxiliary data to detect anomalies without any training sample in a target dataset. It is a crucial task when training data is not access

zero-shot anomaly detection auxiliary data pre-trained vision-language models anomalyclip abnormality recognition

发现论文，激发创造

使用 CLIP 的随机词数据增强技术进行零样本异常检测

提出了一种利用视觉 - 语言模型 CLIP 作为零样本异常检测的数据源的新方法，通过在滑动窗口方式下对图像的每个部分应用提示引导分类，通过生成文本嵌入来训练前馈神经网络，从 CLIP 的嵌入中提取正常和异常特征，实现了无需训练图像的无类别异类检测，取得了零样本设置下的最新性能。

Aug, 2023

通过适应预训练视觉语言模型进行异常检测

我们提出了一个统一的框架 CLIP-ADA 用于通过适应预训练 CLIP 模型进行异常检测，在这个框架中，我们通过引入可学习的提示，并通过自监督学习将其与异常模式关联起来，从而获得多类别工业图像上的统一异常检测，并且通过引入异常区域细化策略来充分利用 CLIP 的表示能力来提高定位质量，我们的框架在 MVTec-AD 和 VisA 上取得了 97.5/55.6 和 89.3/33.1 的最新成果，以及在极小的训练数据下取得了令人鼓舞的性能，这更具挑战性。

Mar, 2024

AnoVL：面向统一零样本异常定位的视觉语言模型适应

使用 Contrastive Language-Image Pre-training (CLIP) 模型进行零样本异常检测，通过学习自然语言监督下的视觉表示，构建文本提示与全局图像级别表示之间的对应关系，采用训练自由的价值关注机制提取 CLIP 的内在局部标记以进行精确定位，设计一个统一的领域感知对比状态提示模板，通过测试时的自适应机制进一步优化异常定位结果。

Aug, 2023

双图强化 CLIP 用于零样本异常检测

通过引入双图增强 CLIP 方法，结合视觉 - 语言评分系统，对图像异常检测进行了增强，包括利用图像进行相互参考以增强推理过程的视觉环境，以及在测试时引入合成异常来提高定位能力。该方法充分利用了视觉 - 语言联合异常检测的潜力，并在各种数据集上展现了与当前最先进方法相媲美的性能。

May, 2024

CLIP-AD：语言导向的分层双路径零样本异常检测模型

本文介绍了一种利用大型视觉语言模型 CLIP 的零样本异常检测方法 CLIP-AD，采用语言引导策略，通过引入 Staged Dual-Path 模型来解决相似度计算、关键特征、文本与图像特征等问题，进一步引入线性层进行 fine-tuning 来增强性能。实验证明，该方法在分类 / 分割 F1 分数上优于现有方法 1.0/1.2，并且经过扩展的模型 SDP + 可以获得进一步的改进，提高了分类 / 分割 F1 分数 1.9/11.7。

Nov, 2023

MediCLIP：针对少样本医学图像异常检测的 CLIP 适应性

在医学决策领域，精确的医学成像异常检测在帮助临床医生方面起着关键作用。本文首先侧重于医学图像异常检测在少样本情景下的任务，这对于数据采集和注释都非常昂贵的医学领域至关重要。我们提出了一种创新的方法，MediCLIP，通过自监督微调，将 CLIP 模型适应于少样本医学图像异常检测。当仅提供少量正常医学图像时，MediCLIP 相比其他方法在异常检测和定位方面实现了最先进的性能。三个不同的医学异常检测任务上的大量实验证明了我们方法的优越性。

May, 2024

基于 CLIP 的零样本异常分割的语义鲁棒性研究

使用预训练的基础模型进行零样本异常分割是一种有前途的方法，它可以在不需要昂贵的领域特定训练或微调的情况下实现有效的算法。我们通过扰动测试数据使用三种语义变换（有界角度旋转、有界饱和度变化和色调变化）来研究 WinCLIP [14] 零样本异常分割算法的性能。通过在每个样本的最坏情况扰动中进行聚合，我们经验性地测量了一个较低的性能下界，并发现平均性能在 ROC 曲线下面积和区域重叠曲线下面积方面下降了最高达 20% 和 40%。我们发现，无论模型架构或学习目标如何，这三种 CLIP 主干的性能都普遍降低，这表明需要进行仔细的性能评估。

May, 2024

WinCLIP：零 / 少样本异常分类和分割

该论文提出了一种基于窗口的视觉 - 语言模型 (WinCLIP)，它可以实现零样本和少样本学习用于异常分类和分割任务，该模型在 MVTec-AD (and VisA) 数据集上超越了现有技术水平。

Mar, 2023

VadCLIP: 适应弱监督视频异常检测的视觉语言模型

通过直接利用对比式语言 - 图像预训练模型 (CLIP) 在视频领域的强大表示能力和设计鲁棒的视频异常检测器，本文提出了 VadCLIP，一种弱监督视频异常检测范例，无需预训练和微调过程，通过双分支实现粗粒度和细粒度的视频异常检测，实验结果在两个常用基准上表现出色，超越了目前其他方法一大截。

Aug, 2023

使用预训练分割模型进行零样本异常检测

本文介绍了我们参加 Visual Anomaly and Novelty Detection (VAND) 2023 Challenge 中的零样本检测方向的提交结果。我们在 WINCLIP 框架的基础上增强了系统的定位能力，同时整合了零样本分割模型。此外，我们还进行了前景实例分割，使模型集中在图像的相关部分，从而更好地识别小型或细微的偏差。我们的管道不需要外部数据或信息，可以直接应用于新的数据集。我们的团队 (Variance Vigilance Vanguard) 在 VAND 挑战赛的零样本检测中排名第三，样本 / 像素级别上在 VisA 数据集上实现了平均 F1-max 得分为 81.5/24.2。

Jun, 2023