Aug, 2023

使用 CLIP 的随机词数据增强技术进行零样本异常检测

PDF
TL;DR提出了一种利用视觉 - 语言模型 CLIP 作为零样本异常检测的数据源的新方法，通过在滑动窗口方式下对图像的每个部分应用提示引导分类，通过生成文本嵌入来训练前馈神经网络，从 CLIP 的嵌入中提取正常和异常特征，实现了无需训练图像的无类别异类检测，取得了零样本设置下的最新性能。
zero-shot anomaly detectionvisual-language modelclipprompt-guided classificationcategory-agnostic anomaly detector
发现论文，激发创造
  • AnomalyCLIP: 面向对象无关的零样本异常检测的提示学习

    AnomalyCLIP 通过学习无关物体的文本提示来捕捉图像中的通常和异常，从而实现了对高度多样的物体数据集进行广义正常性和异常性识别的零样本卓越性能。

    Oct, 2023

  • 双图强化 CLIP 用于零样本异常检测

    通过引入双图增强 CLIP 方法，结合视觉 - 语言评分系统，对图像异常检测进行了增强，包括利用图像进行相互参考以增强推理过程的视觉环境，以及在测试时引入合成异常来提高定位能力。该方法充分利用了视觉 - 语言联合异常检测的潜力，并在各种数据集上展现了与当前最先进方法相媲美的性能。

    May, 2024

  • AnoVL：面向统一零样本异常定位的视觉语言模型适应

    使用 Contrastive Language-Image Pre-training (CLIP) 模型进行零样本异常检测，通过学习自然语言监督下的视觉表示，构建文本提示与全局图像级别表示之间的对应关系，采用训练自由的价值关注机制提取 CLIP 的内在局部标记以进行精确定位，设计一个统一的领域感知对比状态提示模板，通过测试时的自适应机制进一步优化异常定位结果。

    Aug, 2023

  • 通过适应预训练视觉语言模型进行异常检测

    我们提出了一个统一的框架 CLIP-ADA 用于通过适应预训练 CLIP 模型进行异常检测，在这个框架中，我们通过引入可学习的提示，并通过自监督学习将其与异常模式关联起来，从而获得多类别工业图像上的统一异常检测，并且通过引入异常区域细化策略来充分利用 CLIP 的表示能力来提高定位质量，我们的框架在 MVTec-AD 和 VisA 上取得了 97.5/55.6 和 89.3/33.1 的最新成果，以及在极小的训练数据下取得了令人鼓舞的性能，这更具挑战性。

    Mar, 2024

  • 基于 CLIP 的零样本异常分割的语义鲁棒性研究

    使用预训练的基础模型进行零样本异常分割是一种有前途的方法，它可以在不需要昂贵的领域特定训练或微调的情况下实现有效的算法。我们通过扰动测试数据使用三种语义变换（有界角度旋转、有界饱和度变化和色调变化）来研究 WinCLIP [14] 零样本异常分割算法的性能。通过在每个样本的最坏情况扰动中进行聚合，我们经验性地测量了一个较低的性能下界，并发现平均性能在 ROC 曲线下面积和区域重叠曲线下面积方面下降了最高达 20% 和 40%。我们发现，无论模型架构或学习目标如何，这三种 CLIP 主干的性能都普遍降低，这表明需要进行仔细的性能评估。

    May, 2024

  • WinCLIP：零 / 少样本异常分类和分割

    该论文提出了一种基于窗口的视觉 - 语言模型 (WinCLIP)，它可以实现零样本和少样本学习用于异常分类和分割任务，该模型在 MVTec-AD (and VisA) 数据集上超越了现有技术水平。

    Mar, 2023

  • 无 Token 留存：可解释性辅助的图像分类与生成

    本研究提出了一种基于解释性的方法来解决在零样本学习和图像生成中使用 CLIP 时输入文本的稳定性问题，此方法通过增加一项损失项来确保 CLIP 关注所有相关的语义部分，并且可以提高图像识别率和生成图像的质量。同时，研究还展示了 CLIP 在一次性分类、对生成模型进行指导和有空间条件的基于文本的图像生成方面的新型应用。

    Apr, 2022

  • 探索 CLIP 潜空间用于视频异常识别

    我们介绍了一种名为 AnomalyCLIP 的新方法，它首次将大语言和视觉（LLV）模型（如 CLIP）与多实例学习相结合，用于联合视频异常检测和分类。我们通过操纵潜在的 CLIP 特征空间来识别正常事件子空间，并有效地学习文本驱动的异常事件方向。我们还引入了一种计算效率高的 Transformer 架构来建模帧之间的短期和长期时序依赖关系，最终产生最终的异常分数和类别预测概率。我们通过对比三个主要的异常检测基准测试，即 ShanghaiTech，UCF-Crime 和 XD-Violence，实证地表明 AnomalyCLIP 在识别视频异常方面优于基准线方法。

    Oct, 2023

  • CLAP：对预先训练的视觉语言模型鲁棒性的增强提示对比学习

    通过文本增强方法，不需要在对抗性示例上重新训练图像编码器，从而增强视觉 - 语言模型的稳健性，并且实验证明了在各种数据集上对预训练的 CLIP 模型的稳健性有显著改善。

    Nov, 2023

  • VadCLIP: 适应弱监督视频异常检测的视觉语言模型

    通过直接利用对比式语言 - 图像预训练模型 (CLIP) 在视频领域的强大表示能力和设计鲁棒的视频异常检测器，本文提出了 VadCLIP，一种弱监督视频异常检测范例，无需预训练和微调过程，通过双分支实现粗粒度和细粒度的视频异常检测，实验结果在两个常用基准上表现出色，超越了目前其他方法一大截。

    Aug, 2023