Jun, 2024

EvSegSNN: 事件数据的神经形态语义分割

PDF
TL;DR通过将脉冲神经网络与事件摄像头相结合，我们设计了一种生物可行的编码器 - 解码器 U 型架构的语义分割方法，旨在在性能与资源使用之间进行权衡。实验证明 EvSegSNN 在 MIoU 方面优于最接近的最新模型，同时参数数量减少了 1.6 倍，省去了批归一化阶段。
semantic segmentationdeep neural networkspiking neural networksevent camerasbiologically plausible encoder-decoder
发现论文，激发创造
  • 使用自适应脉冲编码器 - 解码器网络进行准确高效的基于事件的语义分割

    本文提出了一种高效的 SNN 编码器 - 解码器网络，并结合层次搜索来优化编码器，从而实现对大规模事件信号的语义分割任务。此外，利用神经元固有的自适应阈值来调节网络激活，并开发了双通道刺激的空间自适应调制 (SSAM) 块，显著提高了网络性能，从而使得 SNN 在事件驱动的视觉任务上的表现优于 ANN 达到 72.57% 和 57.22% 的平均交并比 (MIoU)，并且具有更低的计算成本。

    Apr, 2023

  • 超越分类：直接训练脉冲神经网络实现语义分割

    本论文探讨了脉冲神经网络在语义分割方面的应用，通过替代全连接层和使用替代梯度学习方法，将基本的全卷积网络和 DeepLab 架构重构为 SNN 域的网络。实验表明，相较于 ANN 网络，SNN 网络在这个领域更加稳健和节能。

    Oct, 2021

  • 基于脉冲神经网络的汽车事件数据目标检测

    通过使用事件摄像头直接训练尖峰神经网络，以设计快速高效的汽车嵌入式应用程序，并且采用了最新的尖峰反向传播方法，成功地针对 GEN1 汽车检测事件数据集提出了尖峰神经网络实现目标检测的方法。

    May, 2022

  • EDeNN: 用于低延迟视觉的事件衰减神经网络

    利用事件相机的异步像素来开发新型神经网络在角速度回归和光流估计方面表现出最先进的性能。

    Sep, 2022

  • 通过势辅助的脉冲神经网络实现基于事件的视频重建

    本文提出了一种基于全脉冲神经网络 (SNN) 架构的事件相关视频重建框架 (EVSNN)，并采用 Leaky-Integrate-and-Fire (LIF) 神经元和自适应膜电位中间电位助推框架 (PA-EVSNN)，通过对事件相关图像信息的处理， 实现与基于人工神经网络（ANN）的模型相当的性能，而且在事件驱动硬件上具有更高的计算效率。

    Jan, 2022

  • EV-SegNet：事件相机的语义分割

    本研究介绍了一种基于深度学习的事件相机语义分割方法，具有比基于灰度图的方法更好的性能，同时提出了一种新的事件相机数据表示方法，并描述了如何利用自动生成的近似语义分割标签对 DDD17 数据集进行训练，从而应对数据集标签不足的问题。

    Nov, 2018

  • 基于脉冲神经网络的嵌入式事件驱动目标检测

    利用 SPLEAT 加速器的嵌入式神经形态测试台成功地在可嵌入设备上训练、评估、量化和部署了脉冲神经网络，通过加载最新的神经网络解决方案，估计了在专门设计的低功耗脉冲神经网络硬件上部署网络所带来的性能损失，并在神经形态硬件上实现了真实世界的基于事件的目标检测，令人惊叹的是，具有 108 万参数的嵌入式脉冲解决方案每个预测只需消耗 490 mJ。

    Jun, 2024

  • Razor SNN：具有时态嵌入的高效脉冲神经网络

    通过全局时态嵌入动态机制扩展、特征重建和训练阶段适应性强调事件效应等，我们提出了一种称为 Razor SNN 的事件稀疏化尖峰框架，从而在四个基于事件的基准数据集上实现了竞争性的性能。

    Jun, 2023

  • 深入探究脉冲神经网络：VGG 和残差结构

    本研究提出一种新颖算法技术生成深度架构的 Spiking Neural Networks，此算法应用于 VGG 和 Residual 网络架构并在 CIFAR-10 和 ImageNet 等图像识别问题上取得了显著的准确率提高，同时证明在 spiking 领域内的稀疏 event-driven 计算可减少硬件开销。

    Feb, 2018

  • 通过时间动力学学习稀疏事件来进行汽车目标检测

    基于事件的传感器与其高时间分辨率（1 微秒）和动态范围（120dB），能够在车辆和无人机等高速平台中部署。然而，事件的高度稀疏和波动性对基于人工神经网络（ANNs）的传统目标检测技术构成了挑战。相比之下，脉冲神经网络（SNNs）由于其固有的时间动态性，在表示基于事件的数据方面非常适用。我们特别演示了膜电位动力学如何在波动事件上调节网络活动，并增强稀疏输入的特征。此外，脉冲触发的自适应阈值可以稳定训练，进一步提高网络性能。基于这一点，我们开发了一种高效的用于基于事件的目标检测的脉冲特征金字塔网络。我们的提出的 SNN 在 Gen1 基准数据集上取得了显著的成绩，达到了 47.7％的平均精度（map50），超过了以前最好的 SNN 9.7％，并展示了 SNN 在基于事件的视觉领域的潜力。我们的模型具有简洁的结构，同时保持了高精度和更低的计算成本，这是稀疏计算的结果。我们的代码将公开提供。

    Jul, 2023