Jun, 2023

最佳双赢：用于事件光流估计的混合 SNN-ANN 体系结构

PDF
TL;DR该研究提出了一种新的 SNN-ANN 混合体系结构，该体系结构结合了事件图像和异步计算的优势，用于光流估计，实验结果表明，与以往的混合体系结构，ANN-only 和 SNN-only 体系结构相比，该混合体系结构在准确性和效率方面均有显著提升。
event-based camerasspiking neural networkssnn-ann hybrid architectureoptical flow estimationasynchronous compute
发现论文，激发创造
  • Spike-FlowNet: 基于事件的光流估计与节能混合神经网络

    该论文介绍了一个基于 Spike-FlowNet 的深度混合神经网络体系结构，用于有效地估计来自稀疏事件相机输出的光流，同时提供了显着的计算效率。

    Mar, 2020

  • 基于空间和时间注意力的混合 SNN-ANN 网络用于基于事件的物体检测

    我们介绍了一种基于事件相机的混合注意力脉冲神经网络 — 人工神经网络（Hybrid Attention-based SNN-ANN）骨干架构，用于目标检测。通过引入新颖的基于注意力的 SNN-ANN 桥接模块，我们能够从 SNN 层捕捉稀疏的空间和时间关系，并将其转换为 ANN 骨干的稠密特征图。实验结果表明，我们的方法在性能上超过了基线混合和基于 SNN 的方法，并与现有的基于 ANN 的方法相媲美。深入的消融研究确认了我们提出的模块和架构选择的有效性。这些结果为实现在大幅度减少参数预算的情况下达到 ANN 类似性能的混合 SNN-ANN 架构铺平了道路。我们在数字神经形态硬件上实现了 SNN 块，以研究延迟和功耗，并证明了我们的方法的可行性。

    Mar, 2024

  • 基于脉冲神经网络的事件光流自监督学习

    该文探索将类脑计算应用于复杂的视觉任务，使用改进的训练方法和异步通道的重思路，使节能峰值处理和传感更加高效。

    Jun, 2021

  • 用于低功耗和低延迟视觉感知的混合 ANN-SNN 架构

    该研究通过初始化辅助 ANN 来解决 Spiking Neural Networks 的长转移期和状态衰减的问题，提出了一种 ANN-SNN 模型来实现高时间分辨率、低延迟和低功耗的预测。在 2D 和 3D 人体姿势估计任务中，与完全 ANN 相比，该方法性能下降仅为 4%，但功耗降低了 88%；与 SNN 相比，误差降低了 74%。

    Mar, 2023

  • 通过时间动力学学习稀疏事件来进行汽车目标检测

    基于事件的传感器与其高时间分辨率（1 微秒）和动态范围（120dB），能够在车辆和无人机等高速平台中部署。然而，事件的高度稀疏和波动性对基于人工神经网络（ANNs）的传统目标检测技术构成了挑战。相比之下，脉冲神经网络（SNNs）由于其固有的时间动态性，在表示基于事件的数据方面非常适用。我们特别演示了膜电位动力学如何在波动事件上调节网络活动，并增强稀疏输入的特征。此外，脉冲触发的自适应阈值可以稳定训练，进一步提高网络性能。基于这一点，我们开发了一种高效的用于基于事件的目标检测的脉冲特征金字塔网络。我们的提出的 SNN 在 Gen1 基准数据集上取得了显著的成绩，达到了 47.7％的平均精度（map50），超过了以前最好的 SNN 9.7％，并展示了 SNN 在基于事件的视觉领域的潜力。我们的模型具有简洁的结构，同时保持了高精度和更低的计算成本，这是稀疏计算的结果。我们的代码将公开提供。

    Jul, 2023

  • 通过势辅助的脉冲神经网络实现基于事件的视频重建

    本文提出了一种基于全脉冲神经网络 (SNN) 架构的事件相关视频重建框架 (EVSNN)，并采用 Leaky-Integrate-and-Fire (LIF) 神经元和自适应膜电位中间电位助推框架 (PA-EVSNN)，通过对事件相关图像信息的处理， 实现与基于人工神经网络（ANN）的模型相当的性能，而且在事件驱动硬件上具有更高的计算效率。

    Jan, 2022

  • 双相优化下实现超低延迟无损 ANN-SNN 转换

    本论文提出一种双相转换算法，通过减少量化误差、裁剪误差和残余膜电势表示误差来提高深度脉冲神经网络（SNN）的准确性，并在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上表现出与人工神经网络（ANNs）相当的准确性和更低的能源消耗。

    May, 2022

  • 使用自适应脉冲编码器 - 解码器网络进行准确高效的基于事件的语义分割

    本文提出了一种高效的 SNN 编码器 - 解码器网络，并结合层次搜索来优化编码器，从而实现对大规模事件信号的语义分割任务。此外，利用神经元固有的自适应阈值来调节网络激活，并开发了双通道刺激的空间自适应调制 (SSAM) 块，显著提高了网络性能，从而使得 SNN 在事件驱动的视觉任务上的表现优于 ANN 达到 72.57% 和 57.22% 的平均交并比 (MIoU)，并且具有更低的计算成本。

    Apr, 2023

  • EAS-SNN: 基于递归脉冲神经网络的端到端自适应采样和表征用于事件检测

    基于事件相机和脉冲神经网络的自适应采样模块实现了在动态范围和时间分辨率高、光照条件恶劣的场景下的物体检测的全新学习框架，并通过在神经形态学数据集上的测试表明其在参数数量和时间步数方面具有更优异的性能。

    Mar, 2024

  • 无监督学习分层脉冲神经网络用于光流估计：从事件到全局运动知觉

    本文提出了一种基于事件相机的分层尖峰神经网络结构，利用自适应神经元模型和稳定的 STDP 公式，实现了运动（方向和速度）选择的无监督特征提取和局部全局运动感知，验证了在合成和实际事件序列中具有生物视觉运动系统的主要属性，提供了一种能够加速大规模尖峰神经网络模拟的 cuSNN 库。

    Jul, 2018