May, 2024

参与、提炼、检测：注意力感知的熵提炼用于异常检测

PDF
TL;DR我们提出了一种基于 DCAM（分布式卷积注意模块）的知识蒸馏方法，可以改善教师和学生网络之间的蒸馏过程，减少多类别或多对象情况下的交叉类干扰问题，并通过最小化空间维度上的相对熵和教师和学生的相同特征图之间的通道相关余弦相似性来实现尺度不变性和捕捉非线性关系。
发现论文，激发创造
  • 弱监督视频异常检测的聚合知识蒸馏

    通过将多个骨干模型的聚合表示进行知识蒸馏，我们提出了一种相对简单的模型，达到了最先进的性能。我们的方法在多个基准数据集上取得了显著提高，尤其是在 UCF-Crime、ShanghaiTech 和 XD-Violence 数据集上，分别实现了 1.36％、0.78％和 7.02％的显著改进。

    Jun, 2024

  • MixedTeacher：用于快速推理纹理异常检测的知识蒸馏

    本文提出了一种基于知识蒸馏的新方法，在正常样本上训练一个网络（学生），同时考虑预训练网络的输出（教师），并结合两位教师提出了新的学生 - 教师体系结构，用于联合增强异常检测和其定位精度。提出的纹理异常检测器能够检测任何纹理中的缺陷，并具有比 SOTA 方法更快的推理时间。

    Jun, 2023

  • 基于注意力引导的特征蒸馏用于语义分割

    提出的注意力引导特征蒸馏（AttnFD）方法利用精细特征图来传递关注力，证明了其在语义分割中提取丰富信息的有效性，通过只使用教师和学生的精炼特征图之间的均方误差（MSE）损失函数，在 PascalVoc 2012 和 Cityscapes 数据集上实现了语义分割的最佳性能（mean Intersection over Union，mIoU 达到了最新水平）。

    Mar, 2024

  • ATOM: 高效数据集提炼的关注力混合器

    利用 ATtentiOn Mixer (ATOM) 模块在特征匹配过程中使用混合的通道和空间注意力，以有效地精炼大型数据集，从而在各种计算机视觉数据集中展现出卓越的性能。

    May, 2024

  • 注意力模块提升现代图像级异常检测：DifferNet 案例研究

    提出一种基于 DifferNet 的解决方案，利用 SENet 和 CBAM 作为骨干网络的注意力模块，通过对三个不同的视觉检测和异常检测数据集（MVTec AD、InsPLAD 故障和半导体晶片）进行改进，提高了检测和分类能力，并通过定量和定性评估显示了改进的结果。

    Jan, 2024

  • 光学遥感图像中基于注意力特征蒸馏的高效目标检测

    提出了一种新的注重注意力的特征蒸馏（AFD）方法，通过从教师检测器中蒸馏本地和全局信息，实现了目标检测模型在资源有限的边缘设备上的高效性能。

    Oct, 2023

  • DCdetector：用于时间序列异常检测的双关注对比表征学习

    本文提出 DCdetector 模型，采用多尺度双重注意力对比度表示学习，实现时间序列异常检测的最新结果。

    Jun, 2023

  • 知识蒸馏用于异常检测

    无监督深度学习技术广泛用于识别异常行为。该研究介绍了一种基于知识蒸馏的新型过程，用于将无监督异常检测模型压缩成监督可部署模型，并提出了一套提高检测敏感性的技术集合。压缩模型在显著减小大小和内存占用的同时，性能与较大模型相当。

    Oct, 2023

  • 推进预训练教师：朝着异常检测的稳健特征差异

    本文提出了一个名为 AAND 的简单而有效的两阶段工业异常检测框架，通过连续进行异常放大和正常性蒸馏来获得强大的特征差异。通过引入合成异常和反向蒸馏范式，该方法在 MvTecAD、VisA 和 MvTec3D-RGB 数据集上取得了最先进的性能。

    May, 2024

  • 多分辨率知识蒸馏用于异常检测

    本研究旨在通过将专家网络的特征进行 “蒸馏” 以学习无监督表示，并使用这些特征检测和定位异常区域，证明了结合多个中间提示的蒸馏方法能够更好地利用专家网络的知识，并显著提高在多个数据集上进行异常检测和定位的性能。

    Nov, 2020