深度直接训练的脉冲神经网络用于目标检测
本研究旨在研究脉冲神经网络在目标检测中的性能衰退,并提出了两种新方法:逐通道归一化和具有不平衡阈值的有符号神经元,以提高深度SNN的信息传输速度和准确性。最终实现了基于脉冲的目标检测模型,Spiking-YOLO,其结果表现可与Tiny YOLO比肩,并且在神经形态芯片上的能耗极低,且比以前的SNN转换方法更快。
Mar, 2019
本文研究了脉冲神经网络的训练方法,将其应用于CIFAR10和ImageNet数据集中,并采用量化和扰动方式增强其稳健性,最终证明了脉冲神经网络在实际应用中具有高性能和高能效的可行性。
Sep, 2019
提出了一种基于阈值相关批归一化(tdBN)和空间时间反向传播(STBP)的方法,可直接训练深度脉冲神经网络(SNN),并在神经形态硬件上实现其推理,单次训练达到了 93.15% 的 CIFAR-10 准确率、67.8% 的 DVS-CIFAR10 准确率和 67.05% 的 ImageNet 准确率,是第一次在 ImageNet 上探索具有高性能的直接训练的深度 SNN。
Oct, 2020
通过使用事件摄像头直接训练尖峰神经网络,以设计快速高效的汽车嵌入式应用程序,并且采用了最新的尖峰反向传播方法,成功地针对 GEN1 汽车检测事件数据集提出了尖峰神经网络实现目标检测的方法。
May, 2022
提出了两种方法并创造了一种名为SUHD的基于SNN的超低延迟、高精度物体检测模型,相对于Spiking-YOLO,SUHD在MS COCO数据集上可以大约减少750倍的时间步,同时提高了30%的平均精度(mAP)。
Jun, 2023
这篇论文提出了一种高效快速的脉冲神经网络模型用于目标检测,在量化训练、神经网络修改以及伪量化方案的基础上,利用前馈積分-发射神经元实现了高速目标检测,实验证明,该模型在GPU上可实现118倍加速,参数仅为1.5MB,在FPGA平台上达到了800+FPS的目标检测并且延迟极低。
Sep, 2023
本研究提出了基于脉冲神经网络 (SNNs)、使用当前平均解码方法 (CMD) 的SNN-YOLOv3模型来解决目标检测问题,实验证明该模型在PASCAL VOC数据集上取得了令人瞩目的性能,mAP达到了61.87%,并且只需要6个时间步,相较于SpikingYOLO,我们不仅提高了mAP约10%,还将能量消耗降低了两个数量级。
Sep, 2023
在AI边缘计算、自动驾驶汽车和气候变化的时代,需要节能、小型、嵌入式AI。脉冲神经网络(SNNs)是应对这一挑战的有前途的方法,具有事件驱动的信息流和稀疏激活。我们提出了适用于事件数据的脉冲CenterNet用于目标检测。它结合了一个SNN CenterNet的适应性和一个基于高效M2U-Net的解码器。我们的模型在Prophesee公司具有挑战性的GEN1汽车检测数据集上的性能明显优于可比较的先前工作,同时能使用不到一半的能量。将非脉冲教师的知识蒸馏到我们的SNN中进一步提高了性能。据我们所知,我们的工作是脉冲目标检测领域第一个利用知识蒸馏的方法。
Feb, 2024
我们介绍了一种基于事件相机的混合注意力脉冲神经网络—人工神经网络(Hybrid Attention-based SNN-ANN)骨干架构,用于目标检测。通过引入新颖的基于注意力的SNN-ANN桥接模块,我们能够从SNN层捕捉稀疏的空间和时间关系,并将其转换为ANN骨干的稠密特征图。实验结果表明,我们的方法在性能上超过了基线混合和基于SNN的方法,并与现有的基于ANN的方法相媲美。深入的消融研究确认了我们提出的模块和架构选择的有效性。这些结果为实现在大幅度减少参数预算的情况下达到ANN类似性能的混合SNN-ANN架构铺平了道路。我们在数字神经形态硬件上实现了SNN块,以研究延迟和功耗,并证明了我们的方法的可行性。
Mar, 2024
本文提出了Spiking Fusion Object Detector (SFOD),基于SNN的目标检测方法,在事件相机中实现了多尺度特征图的融合,并通过预训练、分析和实验研究了编码策略和损失函数对模型性能的影响,在NCAR数据集上实现了93.7%的准确率,GEN1检测数据集上取得了32.1%的最优平均精度,展示了SNN在事件相机目标检测领域的潜力和发展。
Mar, 2024