本文提出了一种基于知识蒸馏的新方法，在正常样本上训练一个网络（学生），同时考虑预训练网络的输出（教师），并结合两位教师提出了新的学生 - 教师体系结构，用于联合增强异常检测和其定位精度。提出的纹理异常检测器能够检测任何纹理中的缺陷，并具有比 SOTA 方法更快的推理时间。

Jun, 2023

本研究提出了一种使用学生 - 教师框架的、简单而强大的异常检测方法，该方法实现了对异常的像素级别准确和快速检测，其结果优于现有技术。

Mar, 2021

本研究旨在通过将专家网络的特征进行 “蒸馏” 以学习无监督表示，并使用这些特征检测和定位异常区域，证明了结合多个中间提示的蒸馏方法能够更好地利用专家网络的知识，并显著提高在多个数据集上进行异常检测和定位的性能。

Nov, 2020

结构化师生正常性学习 (SNL) 是一种新的方法，用于解决之前教师 - 学生模型在多类异常检测中存在的重大性能下降问题，并在 MVTecAD 和 VisA 的多类异常检测和定位任务中显著优于现有的基于蒸馏的算法和统一模型。

Feb, 2024

提出了一种基于知识蒸馏的教师 - 学生（T-S）模型，利用反向蒸馏范式和可训练的单类瓶颈嵌入（OCBE）模块，从高级别到低级别的特征逐渐地传递知识，在 AD 和单类新颖性检测基准测试中实现了卓越的性能，提高了对异常检测和单类分类的准确性。

Jan, 2022

由于数据不平衡和缺陷的多样性，学生 - 教师网络（S-T）在无监督异常检测中备受青睐，它通过知识蒸馏过程中从特征表示中探索差异来识别异常。文章通过构建新颖的双学生知识蒸馏（DSKD）架构来解决原生 S-T 网络不稳定的问题，该架构的关键在于使用两个具有相同尺度但结构相反的学生网络和一个单一预训练的教师网络。通过两种策略，即金字塔匹配模式和深度特征嵌入模块，以捕捉异常线索的高维语义信息，该架构可以增强蒸馏效果、改善正常数据的一致性识别，并同时引入多样性来表示异常，最终通过像素级异常分割图和样本判定的异常得分，实现了对三个基准数据集的评估和对内部模块的消融实验，结果显示 DSKD 在小型模型（如 ResNet18）上实现了卓越的性能，并有效改进了原生 S-T 网络。

Feb, 2024

该研究提出了一种解决 AD 领域师生方法存在的问题的新方法 —— 不对称师生网络（AST），通过使用归一化流密度评估作为教师和传统前馈网络作为学生，以检测工业缺陷，并取得了关于图像级异常检测的最新成果。

Oct, 2022

使用学生 - 老师框架，通过深度学习方法实现无监督异常检测和像素级别的异常分割，并在多个实验数据集上展示了显著的改进效果。

Nov, 2019

本研究提出了一种称为 Transformaly 的方法，利用预先训练的网络（ViT）提取特征向量，并使用教师 - 学生训练方法将训练数据中的正常样本提供给学生网络进行训练，从而在异常检测方面实现了超越最新技术的结果。

Dec, 2021

本文提出了一种用于人脸反欺诈的领域对抗攻击方法，通过对输入图像添加扰动使其在领域间不可区分从而实现领域对齐；此外，结合领域对抗攻击与双教师知识蒸馏，开发了一种具有领域对齐的双教师知识蒸馏框架用于人脸反欺诈。在公共数据集上进行大量的消融研究和与最先进方法的比较结果验证了我们提出方法的优势。

Jan, 2024