Jun, 2024

基于脉冲神经网络的嵌入式事件驱动目标检测

PDF
TL;DR利用 SPLEAT 加速器的嵌入式神经形态测试台成功地在可嵌入设备上训练、评估、量化和部署了脉冲神经网络，通过加载最新的神经网络解决方案，估计了在专门设计的低功耗脉冲神经网络硬件上部署网络所带来的性能损失，并在神经形态硬件上实现了真实世界的基于事件的目标检测，令人惊叹的是，具有 108 万参数的嵌入式脉冲解决方案每个预测只需消耗 490 mJ。
event-based object detectionspiking neural networksembedded devicesspiking low-power event-based architecture (spleat)neuromorphic hardware
发现论文，激发创造
  • 基于脉冲神经网络的汽车事件数据目标检测

    通过使用事件摄像头直接训练尖峰神经网络，以设计快速高效的汽车嵌入式应用程序，并且采用了最新的尖峰反向传播方法，成功地针对 GEN1 汽车检测事件数据集提出了尖峰神经网络实现目标检测的方法。

    May, 2022

  • 通过时间动力学学习稀疏事件来进行汽车目标检测

    基于事件的传感器与其高时间分辨率（1 微秒）和动态范围（120dB），能够在车辆和无人机等高速平台中部署。然而，事件的高度稀疏和波动性对基于人工神经网络（ANNs）的传统目标检测技术构成了挑战。相比之下，脉冲神经网络（SNNs）由于其固有的时间动态性，在表示基于事件的数据方面非常适用。我们特别演示了膜电位动力学如何在波动事件上调节网络活动，并增强稀疏输入的特征。此外，脉冲触发的自适应阈值可以稳定训练，进一步提高网络性能。基于这一点，我们开发了一种高效的用于基于事件的目标检测的脉冲特征金字塔网络。我们的提出的 SNN 在 Gen1 基准数据集上取得了显著的成绩，达到了 47.7％的平均精度（map50），超过了以前最好的 SNN 9.7％，并展示了 SNN 在基于事件的视觉领域的潜力。我们的模型具有简洁的结构，同时保持了高精度和更低的计算成本，这是稀疏计算的结果。我们的代码将公开提供。

    Jul, 2023

  • 脉冲神经网络目标检测的低延迟

    针对物体检测任务，通过改善 SNN 与 ANN 的一致性，提出了结构替换、ANN 激活量化和残差修复的方法，与之前的工作 Spiking-YOLO 相比，实验证明该方法具有更高的准确性和更低的延迟，并展示了 SNN 处理脉冲信号的优势。

    Sep, 2023

  • 超低延迟高精度物体检测的脉冲神经网络

    提出了两种方法并创造了一种名为 SUHD 的基于 SNN 的超低延迟、高精度物体检测模型，相对于 Spiking-YOLO，SUHD 在 MS COCO 数据集上可以大约减少 750 倍的时间步，同时提高了 30％的平均精度 (mAP)。

    Jun, 2023

  • Spiking-YOLO：用于能量高效物体检测的尖峰神经网络

    本研究旨在研究脉冲神经网络在目标检测中的性能衰退，并提出了两种新方法：逐通道归一化和具有不平衡阈值的有符号神经元，以提高深度 SNN 的信息传输速度和准确性。最终实现了基于脉冲的目标检测模型，Spiking-YOLO，其结果表现可与 Tiny YOLO 比肩，并且在神经形态芯片上的能耗极低，且比以前的 SNN 转换方法更快。

    Mar, 2019

  • 高效高速物体检测的 SNNs

    这篇论文提出了一种高效快速的脉冲神经网络模型用于目标检测，在量化训练、神经网络修改以及伪量化方案的基础上，利用前馈積分 - 发射神经元实现了高速目标检测，实验证明，该模型在 GPU 上可实现 118 倍加速，参数仅为 1.5MB，在 FPGA 平台上达到了 800+FPS 的目标检测并且延迟极低。

    Sep, 2023

  • SFOD：融合脉冲的目标检测器

    本文提出了 Spiking Fusion Object Detector (SFOD)，基于 SNN 的目标检测方法，在事件相机中实现了多尺度特征图的融合，并通过预训练、分析和实验研究了编码策略和损失函数对模型性能的影响，在 NCAR 数据集上实现了 93.7% 的准确率，GEN1 检测数据集上取得了 32.1% 的最优平均精度，展示了 SNN 在事件相机目标检测领域的潜力和发展。

    Mar, 2024

  • 使用自适应脉冲编码器 - 解码器网络进行准确高效的基于事件的语义分割

    本文提出了一种高效的 SNN 编码器 - 解码器网络，并结合层次搜索来优化编码器，从而实现对大规模事件信号的语义分割任务。此外，利用神经元固有的自适应阈值来调节网络激活，并开发了双通道刺激的空间自适应调制 (SSAM) 块，显著提高了网络性能，从而使得 SNN 在事件驱动的视觉任务上的表现优于 ANN 达到 72.57% 和 57.22% 的平均交并比 (MIoU)，并且具有更低的计算成本。

    Apr, 2023

  • 脉冲中心网络：基于蒸馏提升的脉冲神经网络于目标检测

    在 AI 边缘计算、自动驾驶汽车和气候变化的时代，需要节能、小型、嵌入式 AI。脉冲神经网络 (SNNs) 是应对这一挑战的有前途的方法，具有事件驱动的信息流和稀疏激活。我们提出了适用于事件数据的脉冲 CenterNet 用于目标检测。它结合了一个 SNN CenterNet 的适应性和一个基于高效 M2U-Net 的解码器。我们的模型在 Prophesee 公司具有挑战性的 GEN1 汽车检测数据集上的性能明显优于可比较的先前工作，同时能使用不到一半的能量。将非脉冲教师的知识蒸馏到我们的 SNN 中进一步提高了性能。据我们所知，我们的工作是脉冲目标检测领域第一个利用知识蒸馏的方法。

    Feb, 2024

  • 神经形态硬件上机器学习工作量的高效部署

    本文提供了一种将预先训练的深度神经网络 (DNNs) 转换成脉冲神经网络 (SNNs) 的通用指南，并介绍了一些在神经形态硬件上部署转换后的 SNNs 的技术，可显著改进其延迟，功耗和能耗。实验结果表明，与 Intel Neural Compute Stick 2 相比，使用我们的 SNN 改进技术， Intel 的神经形态处理器 Loihi 在测试的图像分类任务中功耗降低了最多 27 倍，能耗降低了最多 5 倍。

    Oct, 2022