Dec, 2023

面向 MLP 类的有效视觉故障检测的空间动态蒸馏

PDF
TL;DR基于多层感知器 (MLP) 的空间动态蒸馏框架，用于货运列车的视觉故障检测，解决了传统 CNN 中空间不变性和池化层建模不足的问题，从而提高了实时检测精度和降低了计算成本。
convolutional neural networksfault detectionfreight trainsspatial-wise dynamic distillationreal-time detection
发现论文，激发创造
  • 基于异构自蒸馏技术的货运列车制动系统高效视觉故障检测

    本文提出了一种异构自蒸馏框架以保证检测精度和速度，同时满足低资源需求，通过采用轻量化骨干、构建异构知识颈，获得更可靠、准确的边界框估计，并采用新颖的损失函数改进学习效率，在四个故障数据集上进行实验表明，该框架可以实现超过 37 帧 / 秒的高效率，并具有更小的模型大小和低内存使用率。

    Jul, 2023

  • 基于时空一致性的自蒸馏学习用于脉冲神经网络

    脉冲神经网络 (SNNs) 通过事件驱动、低功耗特性和高生物解释性而引起了广泛关注。本文通过知识蒸馏 (KD) 提高了预训练教师模型的 SNN 模型性能，同时探索了一种经济高效的自我蒸馏学习方法，即时间 - 空间自我蒸馏 (TSSD) 学习方法。实验证明该方法在多个数据集上具有卓越的性能，为高性能 SNN 学习方法提供了新的融合思路。

    Jun, 2024

  • 时空图卷积网络上的知识蒸馏用于交通预测

    使用时空图神经网络 (ST-GNN) 对实时交通数据建模，通过知识蒸馏 (KD) 提高 ST-GNN 在实时交通预测中的执行效率，使用剪枝算法和联合优化实现网络架构搜索和精调，评估结果表明，即使保留网络参数的仅 3％，我们的方法仍能使学生网络接近教师网络的准确性。

    Jan, 2024

  • 通过具备数据量鲁棒性的神经架构搜索实现货物列车的高效可视故障检测

    我们提出了一种基于高效的神经架构搜索（NAS）框架，用于货车的视觉故障检测，以搜索具有多尺度表示能力的特定任务检测头，通过设计具有鲁棒性的数据容量降低搜索成本，并提出了一种新的共享策略来减少内存并进一步提高搜索效率，实验结果证明了我们方法的有效性，实现了分别 46.8 和 47.9 mAP 的 Bottom View 和 Side View 数据集，超越了现有方法，并随着数据容量的减少而线性降低了搜索成本。

    May, 2024

  • 目标感知 Transformer 的知识蒸馏

    本篇论文提出了一种新型的知识蒸馏方法，采用一对所有的空间匹配，提高小型神经网络的性能，不同于以往的一对一的空间匹配，从而导致所有的空间位置通常都具有不同的语义信息。该方法在各种计算机视觉基准测试中都超过了最先进的方法。

    May, 2022

  • 任务自适应正则化下的物体检测蒸馏

    该论文提出了一种基于知识蒸馏的对象检测模型微调方法，采用区域提议共享机制和自适应知识转移方法，根据模型的不同表现区分性能好坏，同时使用知识衰减策略帮助提高模型的泛化性能。实验结果表明，该方法在 COOC 数据集上取得了比基线模型更好的检测结果。

    Jun, 2020

  • 多尺度神经过程嵌入知识的可扩展可靠深度迁移学习用于智能故障检测

    本文提出了一种基于神经过程和图卷积网络的深度转移学习方法（GTNP），通过特征转移策略在高维空间中消除源领域和目标领域之间的数据分布差异，全局和局部潜在变量的联合建模以及稀疏采样策略减少目标领域中观测数据的需求，多尺度不确定性分析通过全局和局部潜在变量的分布特征获得，从而使 GTNP 能够提供反映方法复杂性和任务难度的定量值，同时允许对每个受到噪声和偏差影响的样本进行不确定性建模（故障检测结果的置信度），在 3 个智能故障检测任务中，验证了所提出方法相较于其他基于深度转移学习的方法具有更好的检测性能。

    Feb, 2024

  • 分布偏移下的唤醒词检测

    本文提出了一种半监督学习方法，它能够克服关键词检测任务中由于训练和实际数据之间分布偏移所引起的挑战，并且能够优化卷积神经网络以提高模型准确性。

    Jul, 2022

  • 使用卷积神经网络解决大规模空间问题

    本文探讨了如何通过使用转移学习和卷积神经网络等技术来提高大规模空间问题的训练效率，提出小信号窗口训练成果可在大信号上应用的理论，并在移动基础设施方面得到了实证支持。

    Jun, 2023

  • 多教师渐进蒸馏的轻量级目标检测学习

    对于计算和内存资源有限的感知系统，我们提出了一种简单但非常有效的序列化方法来通过知识蒸馏来提高轻量级分类模型的性能，并成功将基于 Transformer 的教师检测器的知识转化到基于卷积的学生检测器上，从而显著提升了 MS COCO 基准测试上 RetinaNet 和 Mask R-CNN 的性能。

    Aug, 2023