基于异构自蒸馏技术的货运列车制动系统高效视觉故障检测

Jul, 2023

基于异构自蒸馏技术的货运列车制动系统高效视觉故障检测

Efficient Visual Fault Detection for Freight Train Braking System via Heterogeneous Self Distillation in the Wild

Yang Zhang, Huilin Pan, Yang Zhou, Mingying Li, Guodong Sun

TL;DR本文提出了一种异构自蒸馏框架以保证检测精度和速度，同时满足低资源需求，通过采用轻量化骨干、构建异构知识颈，获得更可靠、准确的边界框估计，并采用新颖的损失函数改进学习效率，在四个故障数据集上进行实验表明，该框架可以实现超过 37 帧 / 秒的高效率，并具有更小的模型大小和低内存使用率。

Abstract

Efficient visual fault detection of freight trains is a critical part of ensuring the safe operation of railways under the restricted hardware environment. Although deep learning-based approaches have excelled in

freight train deep learning fault detection self-distillation low resource

发现论文，激发创造

面向 MLP 类的有效视觉故障检测的空间动态蒸馏

基于多层感知器 (MLP) 的空间动态蒸馏框架，用于货运列车的视觉故障检测，解决了传统 CNN 中空间不变性和池化层建模不足的问题，从而提高了实时检测精度和降低了计算成本。

Dec, 2023

通过具备数据量鲁棒性的神经架构搜索实现货物列车的高效可视故障检测

我们提出了一种基于高效的神经架构搜索（NAS）框架，用于货车的视觉故障检测，以搜索具有多尺度表示能力的特定任务检测头，通过设计具有鲁棒性的数据容量降低搜索成本，并提出了一种新的共享策略来减少内存并进一步提高搜索效率，实验结果证明了我们方法的有效性，实现了分别 46.8 和 47.9 mAP 的 Bottom View 和 Side View 数据集，超越了现有方法，并随着数据容量的减少而线性降低了搜索成本。

May, 2024

通过解耦特征压缩目标检测器

本研究提出了一种名为 DeFeat 的新型知识蒸馏算法，通过解耦区域特征和分类头提议来提高学生检测器的性能，以实现从复杂教师网络到紧凑学生网络的信息遗传。实验结果表明，DeFeat 相较于先前的知识蒸馏方法可以取得更好的物体检测成果。

Mar, 2021

自知力蒸馏实现鲁棒准确的物体检测

本文提出 Unified Decoupled Feature Alignment (UDFA)，通过全面探索自知识蒸馏与对抗训练的组合应用于目标检测中，实现比现有方法更好的性能。在 PASCAL-VOC 和 MS-COCO 基准测试中，UDFA 可以超越标准训练和最先进的对抗训练方法，提高了准确度，并提高了鲁棒性。

Nov, 2021

任务自适应正则化下的物体检测蒸馏

该论文提出了一种基于知识蒸馏的对象检测模型微调方法，采用区域提议共享机制和自适应知识转移方法，根据模型的不同表现区分性能好坏，同时使用知识衰减策略帮助提高模型的泛化性能。实验结果表明，该方法在 COOC 数据集上取得了比基线模型更好的检测结果。

Jun, 2020

一种基于集成卷积神经网络的可重复使用的铁路 AI 缺陷检测系统

准确的缺陷检测对于确保智能铁路系统的可信性至关重要。为了解决样本有限时训练新的缺陷分类器导致过拟合和在未见图像上表现不佳的问题，我们提出了一种可重复使用的基于人工智能的缺陷检测方法。通过将集成学习与迁移学习模型（VGG-19、MobileNetV3 和 ResNet-50）相结合，我们提高了分类准确性，并在某一训练阶段实现了一致的性能。与其他最先进的方法相比，我们的实证分析表明了更好和更一致的性能。这种一致性证实了缺陷检测系统对于新出现的有缺陷的铁路部件的可重复使用性。因此，我们预计这些发现将有助于铁路系统可重复使用的基于人工智能的解决方案的进一步研究和发展。

Nov, 2023

特征丰富的物体检测器蒸馏

提出了一种基于要素丰富度得分方法的知识蒸馏算法，支持目标检测任务，并可显著提高检测性能，尤其在资源有限的设备上表现优异。

Nov, 2021

自我监督到蒸馏：长尾视觉识别

本文提出了一种 Self Supervised 到 Distillation (SSD) 的概念简单却特别有效的多阶段训练方案，通过使用软标签，此方案能够很好的将标签相关性融入到多阶段训练方案中来有效的进行长尾识别，实验表明，我们的方法在几个长尾识别基准上均取得了最先进的结果。

Sep, 2021

多教师渐进蒸馏的轻量级目标检测学习

对于计算和内存资源有限的感知系统，我们提出了一种简单但非常有效的序列化方法来通过知识蒸馏来提高轻量级分类模型的性能，并成功将基于 Transformer 的教师检测器的知识转化到基于卷积的学生检测器上，从而显著提升了 MS COCO 基准测试上 RetinaNet 和 Mask R-CNN 的性能。

Aug, 2023

光学遥感图像中基于注意力特征蒸馏的高效目标检测

提出了一种新的注重注意力的特征蒸馏（AFD）方法，通过从教师检测器中蒸馏本地和全局信息，实现了目标检测模型在资源有限的边缘设备上的高效性能。

Oct, 2023