双学生知识蒸馏网络用于无监督异常检测

Feb, 2024

双学生知识蒸馏网络用于无监督异常检测

Dual-Student Knowledge Distillation Networks for Unsupervised Anomaly Detection

Liyi Yao, Shaobing Gao

TL;DR由于数据不平衡和缺陷的多样性，学生 - 教师网络（S-T）在无监督异常检测中备受青睐，它通过知识蒸馏过程中从特征表示中探索差异来识别异常。文章通过构建新颖的双学生知识蒸馏（DSKD）架构来解决原生 S-T 网络不稳定的问题，该架构的关键在于使用两个具有相同尺度但结构相反的学生网络和一个单一预训练的教师网络。通过两种策略，即金字塔匹配模式和深度特征嵌入模块，以捕捉异常线索的高维语义信息，该架构可以增强蒸馏效果、改善正常数据的一致性识别，并同时引入多样性来表示异常，最终通过像素级异常分割图和样本判定的异常得分，实现了对三个基准数据集的评估和对内部模块的消融实验，结果显示 DSKD 在小型模型（如 ResNet18）上实现了卓越的性能，并有效改进了原生 S-T 网络。

Abstract

Due to the data imbalance and the diversity of defects, student-teacher networks (S-T) are favored in unsupervised anomaly detection, which explores the discrepancy in feature representation derived from the knowledge distillation process to recognize anomalies. However, vanilla S-T ne

unsupervised anomaly detection student-teacher networks knowledge distillation dual-student knowledge distillation anomaly segmentation

发现论文，激发创造

MixedTeacher：用于快速推理纹理异常检测的知识蒸馏

本文提出了一种基于知识蒸馏的新方法，在正常样本上训练一个网络（学生），同时考虑预训练网络的输出（教师），并结合两位教师提出了新的学生 - 教师体系结构，用于联合增强异常检测和其定位精度。提出的纹理异常检测器能够检测任何纹理中的缺陷，并具有比 SOTA 方法更快的推理时间。

Jun, 2023

知识蒸馏的师生架构：综述

通过教师 - 学生架构，本综述对多种知识蒸馏目标进行了广泛的探索和总结，包括知识压缩、知识扩展、知识适应和知识增强等方面，为行业从业人员和学术界提供有关教师 - 学生架构的宝贵见解和指导。

Aug, 2023

通过单类嵌入的反向蒸馏进行异常检测

提出了一种基于知识蒸馏的教师 - 学生（T-S）模型，利用反向蒸馏范式和可训练的单类瓶颈嵌入（OCBE）模块，从高级别到低级别的特征逐渐地传递知识，在 AD 和单类新颖性检测基准测试中实现了卓越的性能，提高了对异常检测和单类分类的准确性。

Jan, 2022

知识转移对抗网络 (KTAN)

本文提出了一种基于知识蒸馏的对抗性学习框架以更好地训练轻量化（学生）卷积神经网络，同时全面考虑了大型（教师）卷积神经网络中的概率分布和中间层表示。实验结果表明，该方法可以显著地提高学生网络在图像分类和物体检测任务上的性能。

Oct, 2018

层次自监督增强知识蒸馏

本文提出了一种自监督增强的任务，通过辅助分类器在分层中间特征图中生成多样化的自监督知识，并执行一对一的转移来全面教授学生网络，从而改善表示能力而不失去正常分类能力。在多个网络对中，本方法都显著超过了之前的最佳结果，平均改进了 2.56％（CIFAR-100）和 0.77％（ImageNet）。

Jul, 2021

多分辨率知识蒸馏用于异常检测

本研究旨在通过将专家网络的特征进行 “蒸馏” 以学习无监督表示，并使用这些特征检测和定位异常区域，证明了结合多个中间提示的蒸馏方法能够更好地利用专家网络的知识，并显著提高在多个数据集上进行异常检测和定位的性能。

Nov, 2020

多任务多尺度对比知识蒸馏在高效医学图像分割中的应用

本研究旨在探究神经网络在医学图像分割任务中的知识迁移可行性，特别关注从大规模多任务的 “教师” 网络向更小的 “学生” 网络的迁移。我们通过多尺度特征蒸馏和监督对比学习的结构，通过整合从教师模型获取的知识表示来提高学生模型的性能，并通过大量实验和消融研究评估了多尺度特征蒸馏的影响，以及不同损失对知识迁移的整体性能的影响。

Jun, 2024

多类异常检测与定位的结构化师生正态学习

结构化师生正常性学习 (SNL) 是一种新的方法，用于解决之前教师 - 学生模型在多类异常检测中存在的重大性能下降问题，并在 MVTecAD 和 VisA 的多类异常检测和定位任务中显著优于现有的基于蒸馏的算法和统一模型。

Feb, 2024

DMKD: 通过双重掩模增强改进基于特征的目标检测知识蒸馏

利用双重掩蔽知识蒸馏（DMKD）框架来捕捉空间重要性和通道相关信息以实现全面的掩蔽特征重构，通过自适应加权策略融合重构特征进行有效的特征蒸馏，在目标检测任务中与其他最先进的蒸馏方法相比，学生网络分别在 RetinaNet 和级联 Mask R-CNN 作为教师网络时取得了 4.1% 和 4.3% 的性能提升。

Sep, 2023

用于工业异常检测的非对称师生网络

该研究提出了一种解决 AD 领域师生方法存在的问题的新方法 —— 不对称师生网络（AST），通过使用归一化流密度评估作为教师和传统前馈网络作为学生，以检测工业缺陷，并取得了关于图像级异常检测的最新成果。

Oct, 2022