基于脉冲神经网络的汽车事件数据目标检测
基于事件的传感器与其高时间分辨率(1 微秒)和动态范围(120dB),能够在车辆和无人机等高速平台中部署。然而,事件的高度稀疏和波动性对基于人工神经网络(ANNs)的传统目标检测技术构成了挑战。相比之下,脉冲神经网络(SNNs)由于其固有的时间动态性,在表示基于事件的数据方面非常适用。我们特别演示了膜电位动力学如何在波动事件上调节网络活动,并增强稀疏输入的特征。此外,脉冲触发的自适应阈值可以稳定训练,进一步提高网络性能。基于这一点,我们开发了一种高效的用于基于事件的目标检测的脉冲特征金字塔网络。我们的提出的 SNN 在 Gen1 基准数据集上取得了显著的成绩,达到了 47.7%的平均精度(map50),超过了以前最好的 SNN 9.7%,并展示了 SNN 在基于事件的视觉领域的潜力。我们的模型具有简洁的结构,同时保持了高精度和更低的计算成本,这是稀疏计算的结果。我们的代码将公开提供。
Jul, 2023
本文介绍了使用 SNN 和 DVS 结合的方式来实现基于事件的汽车分类器从而应用于自动驾驶,最终在 Intel Loihi 神经形态硬件上实现,并取得了最高 86% 的识别率和 310 mW 的低功耗。
Jul, 2021
在 AI 边缘计算、自动驾驶汽车和气候变化的时代,需要节能、小型、嵌入式 AI。脉冲神经网络 (SNNs) 是应对这一挑战的有前途的方法,具有事件驱动的信息流和稀疏激活。我们提出了适用于事件数据的脉冲 CenterNet 用于目标检测。它结合了一个 SNN CenterNet 的适应性和一个基于高效 M2U-Net 的解码器。我们的模型在 Prophesee 公司具有挑战性的 GEN1 汽车检测数据集上的性能明显优于可比较的先前工作,同时能使用不到一半的能量。将非脉冲教师的知识蒸馏到我们的 SNN 中进一步提高了性能。据我们所知,我们的工作是脉冲目标检测领域第一个利用知识蒸馏的方法。
Feb, 2024
自动驾驶系统是人类移动和交通的未来,本研究通过研究和分析事件驱动的汽车数据,提出了一种系统研究和改进脉冲神经网络 (SNN) 模型的方法,以在高准确性和低功耗 / 能耗的情况下实现自动驾驶系统的开发。
Apr, 2024
本论文探讨了脉冲神经网络在语义分割方面的应用,通过替代全连接层和使用替代梯度学习方法,将基本的全卷积网络和 DeepLab 架构重构为 SNN 域的网络。实验表明,相较于 ANN 网络,SNN 网络在这个领域更加稳健和节能。
Oct, 2021
利用 SPLEAT 加速器的嵌入式神经形态测试台成功地在可嵌入设备上训练、评估、量化和部署了脉冲神经网络,通过加载最新的神经网络解决方案,估计了在专门设计的低功耗脉冲神经网络硬件上部署网络所带来的性能损失,并在神经形态硬件上实现了真实世界的基于事件的目标检测,令人惊叹的是,具有 108 万参数的嵌入式脉冲解决方案每个预测只需消耗 490 mJ。
Jun, 2024
本文提出了一种高效的 SNN 编码器 - 解码器网络,并结合层次搜索来优化编码器,从而实现对大规模事件信号的语义分割任务。此外,利用神经元固有的自适应阈值来调节网络激活,并开发了双通道刺激的空间自适应调制 (SSAM) 块,显著提高了网络性能,从而使得 SNN 在事件驱动的视觉任务上的表现优于 ANN 达到 72.57% 和 57.22% 的平均交并比 (MIoU),并且具有更低的计算成本。
Apr, 2023
通过将脉冲神经网络与事件摄像头相结合,我们设计了一种生物可行的编码器 - 解码器 U 型架构的语义分割方法,旨在在性能与资源使用之间进行权衡。实验证明 EvSegSNN 在 MIoU 方面优于最接近的最新模型,同时参数数量减少了 1.6 倍,省去了批归一化阶段。
Jun, 2024
此篇论文讨论了自动驾驶车辆场景图像数据中的物体检测建模任务中的性能、效率和开放域学习的问题,并证明了通过脉冲神经网络(SNNs)可以实现表现出色且高效的模型,与非脉冲神经网络相比,能够节省高达 85% 的能源消耗,并且在图像噪声下具有稍微改进的稳健性。
Dec, 2023