Jun, 2023

使用预训练分割模型进行零样本异常检测

PDF
TL;DR本文介绍了我们参加 Visual Anomaly and Novelty Detection (VAND) 2023 Challenge 中的零样本检测方向的提交结果。我们在 WINCLIP 框架的基础上增强了系统的定位能力，同时整合了零样本分割模型。此外，我们还进行了前景实例分割，使模型集中在图像的相关部分，从而更好地识别小型或细微的偏差。我们的管道不需要外部数据或信息，可以直接应用于新的数据集。我们的团队 (Variance Vigilance Vanguard) 在 VAND 挑战赛的零样本检测中排名第三，样本 / 像素级别上在 VisA 数据集上实现了平均 F1-max 得分为 81.5/24.2。
发现论文，激发创造
  • CVPR 2023 VAND 工作坊挑战赛 1 和 2 的零 / 少样本异常分类和分割方法：在零样本 AD 上获得第一名，在少样本 AD 上获得第四名

    本文介绍了用于工业视觉检测的一个方案，该方案使用 CLIP 模型和多个存储器来实现无标准参考图像的零射和少射跟踪，从而实现对大量产品类型的快速自适应，并在 VAND 2023 挑战赛中获得了一等奖。

    May, 2023

  • 基于 CLIP 的零样本异常分割的语义鲁棒性研究

    使用预训练的基础模型进行零样本异常分割是一种有前途的方法，它可以在不需要昂贵的领域特定训练或微调的情况下实现有效的算法。我们通过扰动测试数据使用三种语义变换（有界角度旋转、有界饱和度变化和色调变化）来研究 WinCLIP [14] 零样本异常分割算法的性能。通过在每个样本的最坏情况扰动中进行聚合，我们经验性地测量了一个较低的性能下界，并发现平均性能在 ROC 曲线下面积和区域重叠曲线下面积方面下降了最高达 20% 和 40%。我们发现，无论模型架构或学习目标如何，这三种 CLIP 主干的性能都普遍降低，这表明需要进行仔细的性能评估。

    May, 2024

  • WinCLIP：零 / 少样本异常分类和分割

    该论文提出了一种基于窗口的视觉 - 语言模型 (WinCLIP)，它可以实现零样本和少样本学习用于异常分类和分割任务，该模型在 MVTec-AD (and VisA) 数据集上超越了现有技术水平。

    Mar, 2023

  • AnomalyCLIP: 面向对象无关的零样本异常检测的提示学习

    AnomalyCLIP 通过学习无关物体的文本提示来捕捉图像中的通常和异常，从而实现了对高度多样的物体数据集进行广义正常性和异常性识别的零样本卓越性能。

    Oct, 2023

  • AnoVL：面向统一零样本异常定位的视觉语言模型适应

    使用 Contrastive Language-Image Pre-training (CLIP) 模型进行零样本异常检测，通过学习自然语言监督下的视觉表示，构建文本提示与全局图像级别表示之间的对应关系，采用训练自由的价值关注机制提取 CLIP 的内在局部标记以进行精确定位，设计一个统一的领域感知对比状态提示模板，通过测试时的自适应机制进一步优化异常定位结果。

    Aug, 2023

  • CVPR2023 视觉异常和新颖性检测挑战的获胜解决方案：以数据为中心的多模态提示异常检测

    该技术报告介绍了 Segment Any Anomaly 团队在 CVPR2023 视觉异常和新颖性检测（VAND）挑战赛中获胜的解决方案。该解决方案使用多模态提示进行无监督异​​常分割，并以基础模型为零样本下分割任务的先验知识的正则化，实现了在多个异​​常分割基准测试中具有最先进性能的状态。

    Jun, 2023

  • 零样本异常检测无需基础模型

    本文探讨异常检测中的零样本适应问题，并提出了一种简单而高效的基于批归一化和元训练的零样本异常检测方案，在表格数据和图像数据中获得了最新的表现。

    Feb, 2023

  • 零样本语义分割

    本文提出了一个新的任务：零样本语义分割，要求学习像素级分类器从未见过的物体类别中进行分类。ZS3Net 是本文提出的一种新架构，它将深度视觉分割模型与从语义词嵌入生成视觉表示的方法相结合，以实现在测试时间处理已见和未见类别的像素分类任务。本文还通过自我训练进一步提高了性能，并在 Pascal-VOC 和 Pascal-Context 两个标准分割数据集上提出了零样本基准并设立竞争基线。此外，对于像 Pascal-Context 数据集中的复杂场景，我们通过使用图形上下文编码来完全利用来自类别分割地图的空间上下文先验知识。

    Jun, 2019

  • 探索无人类标签的开放词汇语义分割

    该论文介绍了一种使用预训练的图像 - 语言模型进行零样本学习的语义分割方法，将预训练模型中的视觉概念知识转化为分割区域的语义信息表示（即 segment tokens）并应用于视觉语义分割任务中。实验结果表明，该方法在多个公共基准数据集上可以达到与有监督训练方法相竞争的效果。

    Jun, 2023

  • 零样本实例分割

    我们提出了一种新的零样本目标实例分割任务，并提出了一种用于解决此挑战的方法，该方法包括零样本检测器，语义掩模头，背景感知 RPN 和同步背景策略，并在基于 MS-COCO 数据集的新基准测试中取得了良好的性能，这将成为零样本目标实例分割领域未来研究的坚实基础。

    Apr, 2021