AnomalyDINO：使用 DINOv2 提升基于补丁的少样本异常检测

May, 2024

AnomalyDINO：使用 DINOv2 提升基于补丁的少样本异常检测

AnomalyDINO: Boosting Patch-based Few-shot Anomaly Detection with DINOv2

Simon Damm, Mike Laszkiewicz, Johannes Lederer, Asja Fischer

TL;DR本文探讨了高质量的可视特征是否足以与现有的最先进的视觉语言模型竞争，并通过将 DINOv2 适应于一次性和少量次数的异常检测来证实这一点，重点放在工业应用上。我们表明这种方法不仅能与现有技术竞争，而且在许多情况下甚至能胜过它们。我们提出的仅视觉方法 AnomalyDINO 基于补丁相似性，能够实现图像级别的异常预测和像素级的异常分割。该方法在方法论上简单且无需训练，因此无需额外的数据进行微调或元学习。尽管简单，但 AnomalyDINO 在一次性和少量次数的异常检测方面取得了最先进的成果（例如，将 MVTec-AD 上的一次性性能从 93.1％的 AUROC 提升至 96.6％）。降低的开销以及出色的少量次数性能使 AnomalyDINO 成为快速部署的有力候选，例如在工业环境中。

Abstract

Recent advances in multimodal foundation models have set new standards in few-shot anomaly detection. This paper explores whether high-quality visual features alone are sufficient to rival existing state-of-the-a

multimodal foundation models few-shot anomaly detection visual features vision-language models industrial applications

发现论文，激发创造

基于基础模型时代的少样本语义分割新基准

在计算机视觉中，我们比较了四种著名的视觉基础模型（DINO V2，Segment Anything，CLIP，Masked AutoEncoders 和在 COCO 数据集上预训练的 ResNet50），发现 DINO V2 在各种数据集和适应方法上始终优于其他模型，突出了其在语义分割任务上的优越适应能力。此外，我们观察到各种适配器方法表现相似，强调了选择稳健特征提取器比适应技术本身的复杂性更为重要，这一发现揭示了在少样本语义分割情境中特征提取的关键作用。此研究不仅为少样本语义分割领域的视觉基础模型的比较性能提供宝贵见解，还强调了稳健特征提取器在该领域的重要性。

Jan, 2024

Dinomaly: 多类别无监督异常检测中的简洁至上哲学

我们引入了一种名为 Dinomaly 的极简重建异常检测框架，该框架利用纯 Transformer 体系结构而不依赖于复杂设计、附加模块或专门技巧，通过在多类异常检测中提取通用和区分特征的 Foundation Transformers、使用预存在的 Dropouts 进行噪声注入技巧的 Noisy Bottleneck、自然无法聚焦的 Linear Attention 以及不迫使逐层和逐点重建的 Loose Reconstruction 四个简单组件，在 MVTec-AD、VisA 和 Real-IAD 等三个流行的异常检测基准上进行了广泛实验，我们的 Dinomaly 在这三个数据集上分别取得了 99.6%、98.7% 和 89.3% 的令人印象深刻的图像 AUROC，不仅优于目前最先进的多类 UAD 方法，而且超过了最先进的类分离 UAD 记录。

May, 2024

为少 / 多样本异常检测优化 PatchCore

研究表明对 PatchCore 算法进行超参数优化和迁移用于少样本异常检测及异常分割可以显著提高其性能，并提出了对具有强归纳偏差的特征提取器的研究作为未来的潜在方向。

Jul, 2023

用于少样本视觉异常分类的 PatchProto 网络

本论文研究了少样本学习（FSL）的实际问题，通过利用充足的正常样本，提出了 PatchProto 网络用于少样本异常分类。与传统方法不同，PatchProto 网络仅提取感兴趣区域的缺陷 CNN 特征，并将其作为少样本学习的原型。实验结果显示 PatchProto 网络显著提高了少样本异常分类的准确性。

Oct, 2023

一种分层转换 - 判别生成模型用于少样本异常检测

本文提出了一种基于层次结构生成模型、图像变换和基于尺度的补丁鉴别器的异常检测方法，该方法可以通过极少量的样本（few-shot）训练来鲁棒地检测出图像中的异常样本，实验表明该方法在多个数据集上的表现优于近期的基线方法。

Apr, 2021

关于医学图像分析的通用视觉基础模型：基于 DINOv2 的放射学基准实验研究

本研究全面评估了基于自学习的 DINOv2 模型在放射学领域的应用，通过超过 100 个实验在不同模态下进行疾病分类和器官分割等任务，发现 DINOv2 在分割任务中表现优越，在疾病分类中具有竞争力的结果。这些发现为优化医学影像的预训练策略和加强 DINOv2 在自然图像与放射图像分析之间的桥梁作用提供了深入的见解。

Dec, 2023

少样本检测一切

本文介绍了 DE-ViT，这是一个使用纯视觉 DINOv2 骨干网络的开放集对象检测器，通过示例图像而不是语言来学习新的类别。为了提高检测能力，我们将多类别分类任务转换为二分类任务，并提出了一种新的区域传播技术来进行定位。在 COCO 和 LVIS 的开放词汇、少样本和一次样本对象检测基准测试中，DE-ViT 的性能超过了 SoTA。

Sep, 2023

探索卫星图像中的少样本目标检测的鲁棒特征

本文旨在使用仅有少量示例来进行卫星图像中的目标检测，从而使用户能够使用最少的注释来指定任何目标类。我们探讨了来自开放词汇检测和遥感领域的最新方法和思路。我们基于传统的两阶段架构开发了一个少样本目标检测器，其中分类块被基于原型的分类器替代。我们使用大规模预训练模型构建类参考嵌入或原型，并与区域建议内容进行标签预测。另外，我们提出在可用的训练图像上微调原型，以提高性能并学习类似类别之间的差异，例如飞机类型。我们对包含具有挑战性和罕见对象的两个遥感数据集进行了广泛评估。此外，我们研究了视觉和图像文本特征的性能，即 DINOv2 和 CLIP，包括专门针对遥感应用的两个 CLIP 模型。结果表明，视觉特征在很大程度上优于视觉语言模型，因为后者缺乏必要的领域特定词汇。最后，尽管训练参数很少，但开发的检测器在 SIMD 和 DIOR 数据集上表现出优于全监督和少样本方法的性能。

Mar, 2024

DINO-Mix: 优化视觉地点识别的基础视觉模型和特征混合

通过利用 DINOv2 模型作为骨干网络对图像进行修剪和微调以提取鲁棒的图像特征，我们提出了一种名为 DINO-Mix 的新颖的 VPR 架构，通过基础视觉模型的强大图像特征提取能力和基于 MLP-Mixer 的特征聚合模块，实现全局鲁棒和可泛化的特征描述，从而实现高精度的 VPR。我们的实验证明，所提出的 DINO-Mix 架构显著优于当前最先进的方法，在具有光照变化、季节变化和遮挡的测试集上，分别达到了 91.75%、80.18% 和 82% 的 Top-1 准确率。与最先进的方法相比，我们的架构平均准确率提高了 5.14%。

Nov, 2023

从显著性到 DINO: 基于显著性的视觉 Transformer 用于少样本关键点检测

研究提出了一种基于视觉转换器（ViT）的新型显著性引导视觉转换器（SalViT），实现了少样本关键点检测，并通过形态学学习者和软遮罩机制使关键点学习更加精确，同时还为从未见过的关键点和遮挡噪声提供了支持。

Apr, 2023