Jun, 2023

MixedTeacher：用于快速推理纹理异常检测的知识蒸馏

PDF
TL;DR本文提出了一种基于知识蒸馏的新方法，在正常样本上训练一个网络（学生），同时考虑预训练网络的输出（教师），并结合两位教师提出了新的学生 - 教师体系结构，用于联合增强异常检测和其定位精度。提出的纹理异常检测器能够检测任何纹理中的缺陷，并具有比 SOTA 方法更快的推理时间。
unsupervised learninganomaly detectioncnnknowledge distillationtexture anomaly detector
发现论文，激发创造
  • 双学生知识蒸馏网络用于无监督异常检测

    由于数据不平衡和缺陷的多样性，学生 - 教师网络（S-T）在无监督异常检测中备受青睐，它通过知识蒸馏过程中从特征表示中探索差异来识别异常。文章通过构建新颖的双学生知识蒸馏（DSKD）架构来解决原生 S-T 网络不稳定的问题，该架构的关键在于使用两个具有相同尺度但结构相反的学生网络和一个单一预训练的教师网络。通过两种策略，即金字塔匹配模式和深度特征嵌入模块，以捕捉异常线索的高维语义信息，该架构可以增强蒸馏效果、改善正常数据的一致性识别，并同时引入多样性来表示异常，最终通过像素级异常分割图和样本判定的异常得分，实现了对三个基准数据集的评估和对内部模块的消融实验，结果显示 DSKD 在小型模型（如 ResNet18）上实现了卓越的性能，并有效改进了原生 S-T 网络。

    Feb, 2024

  • 推进预训练教师：朝着异常检测的稳健特征差异

    本文提出了一个名为 AAND 的简单而有效的两阶段工业异常检测框架，通过连续进行异常放大和正常性蒸馏来获得强大的特征差异。通过引入合成异常和反向蒸馏范式，该方法在 MvTecAD、VisA 和 MvTec3D-RGB 数据集上取得了最先进的性能。

    May, 2024

  • 多类异常检测与定位的结构化师生正态学习

    结构化师生正常性学习 (SNL) 是一种新的方法，用于解决之前教师 - 学生模型在多类异常检测中存在的重大性能下降问题，并在 MVTecAD 和 VisA 的多类异常检测和定位任务中显著优于现有的基于蒸馏的算法和统一模型。

    Feb, 2024

  • 知识转移对抗网络 (KTAN)

    本文提出了一种基于知识蒸馏的对抗性学习框架以更好地训练轻量化（学生）卷积神经网络，同时全面考虑了大型（教师）卷积神经网络中的概率分布和中间层表示。实验结果表明，该方法可以显著地提高学生网络在图像分类和物体检测任务 上的性能。

    Oct, 2018

  • 多分辨率知识蒸馏用于异常检测

    本研究旨在通过将专家网络的特征进行 “蒸馏” 以学习无监督表示，并使用这些特征检测和定位异常区域，证明了结合多个中间提示的蒸馏方法能够更好地利用专家网络的知识，并显著提高在多个数据集上进行异常检测和定位的性能。

    Nov, 2020

  • 目标感知 Transformer 的知识蒸馏

    本篇论文提出了一种新型的知识蒸馏方法，采用一对所有的空间匹配，提高小型神经网络的性能，不同于以往的一对一的空间匹配，从而导致所有的空间位置通常都具有不同的语义信息。该方法在各种计算机视觉基准测试中都超过了最先进的方法。

    May, 2022

  • 无知学生：基于鉴别性潜变量嵌入的学生 - 教师异常检测

    使用学生 - 老师框架，通过深度学习方法实现无监督异常检测和像素级别的异常分割，并在多个实验数据集上展示了显著的改进效果。

    Nov, 2019

  • 适应性师生协同：基于文本条件扩散模型的学生优于预期

    学生样本在质量上优于教师样本，提出了一种基于知识蒸馏的自适应协作方法，以在文本到图像合成中实现更好的效果。

    Dec, 2023

  • 知识蒸馏与自监督相遇

    本文介绍了一种新的知识蒸馏方法，使用自我监督信号作为辅助任务来提取自预训练教师模型中的丰富知识，并将其成功地传递到学生网络中，从而实现了在各种基准测试下的表现优异。

    Jun, 2020

  • 教辅辅助下的知识蒸馏改进

    本论文针对深度神经网络过于庞大以至于不能部署在移动设备等边缘设备的问题，提出了一种基于知识蒸馏的网络压缩方法。然而，该论文表明，如果学生网络与教师网络之间的差距太大，那么知识蒸馏的性能会下降；为此，该论文提出了一种多步知识蒸馏的方法，通过使用一个中等大小的网络（即教师助手）来弥补学生与教师之间的差距，并通过对 CIFAR-10,100 和 ImageNet 数据集进行广泛的实验证明了该方法的有效性。

    Feb, 2019