CVPRJan, 2022

通过势辅助的脉冲神经网络实现基于事件的视频重建

PDF
TL;DR本文提出了一种基于全脉冲神经网络 (SNN) 架构的事件相关视频重建框架 (EVSNN)，并采用 Leaky-Integrate-and-Fire (LIF) 神经元和自适应膜电位中间电位助推框架 (PA-EVSNN)，通过对事件相关图像信息的处理， 实现与基于人工神经网络（ANN）的模型相当的性能，而且在事件驱动硬件上具有更高的计算效率。
neuromorphic vision sensorspiking neural networkevent-based image reconstructionleaky-integrate-and-fire neuronadaptive membrane potential neuron
发现论文，激发创造
  • Spike-FlowNet: 基于事件的光流估计与节能混合神经网络

    该论文介绍了一个基于 Spike-FlowNet 的深度混合神经网络体系结构，用于有效地估计来自稀疏事件相机输出的光流，同时提供了显着的计算效率。

    Mar, 2020

  • EvSegSNN: 事件数据的神经形态语义分割

    通过将脉冲神经网络与事件摄像头相结合，我们设计了一种生物可行的编码器 - 解码器 U 型架构的语义分割方法，旨在在性能与资源使用之间进行权衡。实验证明 EvSegSNN 在 MIoU 方面优于最接近的最新模型，同时参数数量减少了 1.6 倍，省去了批归一化阶段。

    Jun, 2024

  • EAS-SNN: 基于递归脉冲神经网络的端到端自适应采样和表征用于事件检测

    基于事件相机和脉冲神经网络的自适应采样模块实现了在动态范围和时间分辨率高、光照条件恶劣的场景下的物体检测的全新学习框架，并通过在神经形态学数据集上的测试表明其在参数数量和时间步数方面具有更优异的性能。

    Mar, 2024

  • Spike-EVPR: 基于深度脉冲残差网络与交叉表征聚合的事件驱动视觉地点识别

    提出了一种称为 Spike-EVPR 的新型深度脉冲神经网络架构，用于基于事件的视觉位置识别任务，通过引入两种新的事件表征并构建具有强大表征能力的 Bifurcated Spike Residual Encoder 和 Shared & Specific Descriptor Extractor 模块，以及采用 Cross-Descriptor Aggregation Module 进行特征融合，显著提高了性能。

    Feb, 2024

  • RN-Net: 储水池节点启用的神经形态视觉感知网络

    本文提出了一种基于简单卷积层的神经网络架构，结合低成本的动态时间编码水库节点，实现了异步时间特征的高效处理，并通过使用内部动态的自旋电阻器，在非常低的硬件成本下实现了异步时间特征编码。RN-Net 在 DVS128 手势数据集上取得了最高的 99.2% 的准确率，并且在较小的网络规模下，在 DVS Lip 数据集上实现了达到 67.5% 的准确率，且代码将公开发布。

    Mar, 2023

  • 通过时间动力学学习稀疏事件来进行汽车目标检测

    基于事件的传感器与其高时间分辨率（1 微秒）和动态范围（120dB），能够在车辆和无人机等高速平台中部署。然而，事件的高度稀疏和波动性对基于人工神经网络（ANNs）的传统目标检测技术构成了挑战。相比之下，脉冲神经网络（SNNs）由于其固有的时间动态性，在表示基于事件的数据方面非常适用。我们特别演示了膜电位动力学如何在波动事件上调节网络活动，并增强稀疏输入的特征。此外，脉冲触发的自适应阈值可以稳定训练，进一步提高网络性能。基于这一点，我们开发了一种高效的用于基于事件的目标检测的脉冲特征金字塔网络。我们的提出的 SNN 在 Gen1 基准数据集上取得了显著的成绩，达到了 47.7％的平均精度（map50），超过了以前最好的 SNN 9.7％，并展示了 SNN 在基于事件的视觉领域的潜力。我们的模型具有简洁的结构，同时保持了高精度和更低的计算成本，这是稀疏计算的结果。我们的代码将公开提供。

    Jul, 2023

  • 基于脉冲神经网络的汽车事件数据目标检测

    通过使用事件摄像头直接训练尖峰神经网络，以设计快速高效的汽车嵌入式应用程序，并且采用了最新的尖峰反向传播方法，成功地针对 GEN1 汽车检测事件数据集提出了尖峰神经网络实现目标检测的方法。

    May, 2022

  • 基于脉冲神经网络的事件光流自监督学习

    该文探索将类脑计算应用于复杂的视觉任务，使用改进的训练方法和异步通道的重思路，使节能峰值处理和传感更加高效。

    Jun, 2021

  • 基于事件视觉的脉冲神经网络的异步生物合理神经元

    脉冲神经网络 (SNNs) 提供了一种生物启发的计算机视觉方法，可以在处理视觉数据时提高效率并降低能耗。我们提出了一种异步生物合规神经元 (ABN)，用于自动调整输入信号的变化。在各种数据集上的全面评估表明 ABN 在图像分类和分割、维持神经平衡和能效方面具有增强性能。

    Nov, 2023

  • 最佳双赢：用于事件光流估计的混合 SNN-ANN 体系结构

    该研究提出了一种新的 SNN-ANN 混合体系结构，该体系结构结合了事件图像和异步计算的优势，用于光流估计，实验结果表明，与以往的混合体系结构，ANN-only 和 SNN-only 体系结构相比，该混合体系结构在准确性和效率方面均有显著提升。

    Jun, 2023