通过上下文残差学习与少样本提示实现通用异常检测
提出了一种用于少样本异常检测的单类提示学习方法 PromptAD,在语义拼接和明确异常边界的基础上,通过自动学习提示来改进工业异常检测任务。在 MVTec 和 VisA 数据集的 11/12 个 few-shot 环境中,PromptAD 在图像级 / 像素级异常检测中取得第一名。
Apr, 2024
我们提出了一个统一的框架 CLIP-ADA 用于通过适应预训练 CLIP 模型进行异常检测,在这个框架中,我们通过引入可学习的提示,并通过自监督学习将其与异常模式关联起来,从而获得多类别工业图像上的统一异常检测,并且通过引入异常区域细化策略来充分利用 CLIP 的表示能力来提高定位质量,我们的框架在 MVTec-AD 和 VisA 上取得了 97.5/55.6 和 89.3/33.1 的最新成果,以及在极小的训练数据下取得了令人鼓舞的性能,这更具挑战性。
Mar, 2024
AnomalyCLIP 通过学习无关物体的文本提示来捕捉图像中的通常和异常,从而实现了对高度多样的物体数据集进行广义正常性和异常性识别的零样本卓越性能。
Oct, 2023
FMGAD 是一种新颖的少样本图异常检测模型,利用自监督对比学习策略在视图内和视图间捕捉内在和可传递的结构表示,并借助深度图神经网络消息增强重构模块从根本上利用少样本标签信息并使其能够传播到更深的未标记节点,该模块进一步辅助自监督对比学习的训练。综合对六个真实世界数据集的实验结果表明,FMGAD 能够在人工注入异常或领域有机异常的情况下,实现比其他最先进方法更好的性能。
Nov, 2023
利用大型视觉语言模型(LVLMs)解决工业异常检测(IAD)问题的关键在于提出了一种基于 LVLM 的新型 IAD 方法 AnomalyGPT,通过模拟异常图像以及为每个图像生成对应的文本描述来生成训练数据,并利用图像解码器提供细粒度语义和设计,通过启示式嵌入 fine-tune LVLM,消除了手动阈值调整的需求,直接评估异常的存在和位置,在 MVTec-AD 数据集上实现了 86.1%的准确率,94.1%的图像级 AUC 和 95.3%的像素级 AUC。
Aug, 2023
提出了一种利用视觉 - 语言模型 CLIP 作为零样本异常检测的数据源的新方法,通过在滑动窗口方式下对图像的每个部分应用提示引导分类,通过生成文本嵌入来训练前馈神经网络,从 CLIP 的嵌入中提取正常和异常特征,实现了无需训练图像的无类别异类检测,取得了零样本设置下的最新性能。
Aug, 2023
使用 Contrastive Language-Image Pre-training (CLIP) 模型进行零样本异常检测,通过学习自然语言监督下的视觉表示,构建文本提示与全局图像级别表示之间的对应关系,采用训练自由的价值关注机制提取 CLIP 的内在局部标记以进行精确定位,设计一个统一的领域感知对比状态提示模板,通过测试时的自适应机制进一步优化异常定位结果。
Aug, 2023
提出了一种用于弱监督视频异常检测的新颖框架,通过计算潜在异常事件的文本提示词典与异常视频生成的字幕之间的语义异常相似性,标识每个视频片段的疑似异常事件,并通过多提示学习过程约束所有视频的视觉 - 语义特征,提供了一种为自训练标记伪异常的新方法。通过全面实验和详细消融研究,在四个数据集(XD-Violence、UCF-Crime、TAD、ShanghaiTech)上表现出优于大多数最先进方法的性能(82.6%,87.7%,93.1% 和 97.4%),并在开放集和跨数据集情况下展示了有希望的性能。
Mar, 2024
在本研究中,我们提出了一种新的方法来解决少样本异常检测(FSAD)的挑战,该方法包括使用预先训练的模型初始化权重,采用对比性训练来优化少样本领域数据,以及使用正样本对齐和负样本分离等技术来学习适合于异常检测的表示。我们对 3 个受控异常检测任务和 4 个真实世界异常检测任务进行了评估,以展示所提方法的有效性。
Feb, 2024
我们提出了一种无需人工干预的基于提示的异常检测框架,通过数据驱动方法优化学习提示,解决了训练阶段缺乏异常样本的问题,并通过合理调整梯度方向和局部注意力机制,实现了像素级异常分割的高准确度。
Jun, 2024