多类异常检测与定位的结构化师生正态学习

Feb, 2024

多类异常检测与定位的结构化师生正态学习

Structural Teacher-Student Normality Learning for Multi-Class Anomaly Detection and Localization

Hanqiu Deng, Xingyu Li

TL;DR结构化师生正常性学习 (SNL) 是一种新的方法，用于解决之前教师 - 学生模型在多类异常检测中存在的重大性能下降问题，并在 MVTecAD 和 VisA 的多类异常检测和定位任务中显著优于现有的基于蒸馏的算法和统一模型。

Abstract

visual anomaly detection is a challenging open-set task aimed at identifying unknown anomalous patterns while modeling normal data. The knowledge distillation paradigm has shown remarkable performance in one-class anomaly detection by leveraging teacher-student network feature comparis

visual anomaly detection knowledge distillation multi-class anomaly detection structural teacher-student normality learning mvtecad

发现论文，激发创造

MixedTeacher：用于快速推理纹理异常检测的知识蒸馏

本文提出了一种基于知识蒸馏的新方法，在正常样本上训练一个网络（学生），同时考虑预训练网络的输出（教师），并结合两位教师提出了新的学生 - 教师体系结构，用于联合增强异常检测和其定位精度。提出的纹理异常检测器能够检测任何纹理中的缺陷，并具有比 SOTA 方法更快的推理时间。

Jun, 2023

双学生知识蒸馏网络用于无监督异常检测

由于数据不平衡和缺陷的多样性，学生 - 教师网络（S-T）在无监督异常检测中备受青睐，它通过知识蒸馏过程中从特征表示中探索差异来识别异常。文章通过构建新颖的双学生知识蒸馏（DSKD）架构来解决原生 S-T 网络不稳定的问题，该架构的关键在于使用两个具有相同尺度但结构相反的学生网络和一个单一预训练的教师网络。通过两种策略，即金字塔匹配模式和深度特征嵌入模块，以捕捉异常线索的高维语义信息，该架构可以增强蒸馏效果、改善正常数据的一致性识别，并同时引入多样性来表示异常，最终通过像素级异常分割图和样本判定的异常得分，实现了对三个基准数据集的评估和对内部模块的消融实验，结果显示 DSKD 在小型模型（如 ResNet18）上实现了卓越的性能，并有效改进了原生 S-T 网络。

Feb, 2024

用于工业异常检测的非对称师生网络

该研究提出了一种解决 AD 领域师生方法存在的问题的新方法 —— 不对称师生网络（AST），通过使用归一化流密度评估作为教师和传统前馈网络作为学生，以检测工业缺陷，并取得了关于图像级异常检测的最新成果。

Oct, 2022

推进预训练教师：朝着异常检测的稳健特征差异

本文提出了一个名为 AAND 的简单而有效的两阶段工业异常检测框架，通过连续进行异常放大和正常性蒸馏来获得强大的特征差异。通过引入合成异常和反向蒸馏范式，该方法在 MvTecAD、VisA 和 MvTec3D-RGB 数据集上取得了最先进的性能。

May, 2024

无知学生：基于鉴别性潜变量嵌入的学生 - 教师异常检测

使用学生 - 老师框架，通过深度学习方法实现无监督异常检测和像素级别的异常分割，并在多个实验数据集上展示了显著的改进效果。

Nov, 2019

多分辨率知识蒸馏用于异常检测

本研究旨在通过将专家网络的特征进行 “蒸馏” 以学习无监督表示，并使用这些特征检测和定位异常区域，证明了结合多个中间提示的蒸馏方法能够更好地利用专家网络的知识，并显著提高在多个数据集上进行异常检测和定位的性能。

Nov, 2020

图像异常检测的情境关联蒸馏

基于先前知识蒸馏方法，本文提出使用两个学生（局部和全局）更好地模仿教师的行为，局部学生主要关注结构异常检测，而全局学生则关注逻辑异常，并通过设计全局上下文压缩块（GCCB）和提出上下文相似度损失来进一步鼓励全局学生学习以捕捉长距离依赖关系，实验结果表明该方法在 MVTec LOCO AD 数据集上达到了最新的性能水平，且无需繁琐的训练技巧。

Jul, 2023

学生 - 教师特征金字塔匹配用于异常检测

本研究提出了一种使用学生 - 教师框架的、简单而强大的异常检测方法，该方法实现了对异常的像素级别准确和快速检测，其结果优于现有技术。

Mar, 2021

通过单类嵌入的反向蒸馏进行异常检测

提出了一种基于知识蒸馏的教师 - 学生（T-S）模型，利用反向蒸馏范式和可训练的单类瓶颈嵌入（OCBE）模块，从高级别到低级别的特征逐渐地传递知识，在 AD 和单类新颖性检测基准测试中实现了卓越的性能，提高了对异常检测和单类分类的准确性。

Jan, 2022

通过对抗知识蒸馏的闪电般快速视频异常检测

提出了一种非常快的视频异常检测模型，通过从多个高精度的目标级教师模型中提取知识来学习检测异常。通过联合应用标准和对抗蒸馏，利用对每个教师的对抗鉴别器来区分目标和生成的异常图，从而提高了学生的保真度。对三个基准数据集（Avenue，ShanghaiTech，UCSD Ped2）进行实验，结果表明，该方法比最快的竞争方法快 7 倍以上，并且比以目标为中心的模型快 28 到 62 倍，同时获得了与最近方法相当的结果，且速度达到了 1480 FPS，是速度和精度之间的最佳权衡。此外，我们进行了全面的剖析研究，以证明我们的架构设计选择的合理性。

Nov, 2022