基于脉冲神经网络的事件光流自监督学习

Jun, 2021

基于脉冲神经网络的事件光流自监督学习

Self-Supervised Learning of Event-Based Optical Flow with Spiking Neural Networks

Jesse Hagenaars, Federico Paredes-Vallés, Guido de Croon

TL;DR该文探索将类脑计算应用于复杂的视觉任务，使用改进的训练方法和异步通道的重思路，使节能峰值处理和传感更加高效。

Abstract

The field of neuromorphic computing promises extremely low-power and low-latency sensing and processing. Challenges in transferring learning algorithms from traditional artificial neural networks (ANNs) to spiking neural networks (SNNs) have so far prevented their application to large-

neuromorphic computing spiking neural networks optical flow self-supervised learning asynchronous pipeline

发现论文，激发创造

Spike-FlowNet: 基于事件的光流估计与节能混合神经网络

该论文介绍了一个基于 Spike-FlowNet 的深度混合神经网络体系结构，用于有效地估计来自稀疏事件相机输出的光流，同时提供了显着的计算效率。

Mar, 2020

无监督学习分层脉冲神经网络用于光流估计：从事件到全局运动知觉

本文提出了一种基于事件相机的分层尖峰神经网络结构，利用自适应神经元模型和稳定的 STDP 公式，实现了运动（方向和速度）选择的无监督特征提取和局部全局运动感知，验证了在合成和实际事件序列中具有生物视觉运动系统的主要属性，提供了一种能够加速大规模尖峰神经网络模拟的 cuSNN 库。

Jul, 2018

最佳双赢：用于事件光流估计的混合 SNN-ANN 体系结构

该研究提出了一种新的 SNN-ANN 混合体系结构，该体系结构结合了事件图像和异步计算的优势，用于光流估计，实验结果表明，与以往的混合体系结构，ANN-only 和 SNN-only 体系结构相比，该混合体系结构在准确性和效率方面均有显著提升。

Jun, 2023

神经形态光流与事件相机实时实现

研究提出了一种结合时间透镜的新型神经网络架构，利用事件视觉和脉冲神经网络技术，以及基于活动和延迟分析的模型简化方法，提高了光流预测的速度并减少了复杂度，同时保持了高精度特性，为实时部署提供了可能性。

Apr, 2023

时空循环神经网络用于基于事件的光流估计

本文提出了一种新颖的输入表示法，捕捉事件的时间分布以增强信号，并介绍了一种利用卷积门控循环单元从一系列事件图像中提取特征图的时空循环编码 - 解码神经网络体系结构，其中允许整合一些基于帧的核心模块，如相关层和迭代残差精化方案，它在 Multi-VehicleStereoEventCamera 数据集上进行自我监督学习的端到端训练，表现优于现有所有最先进的方法。

Sep, 2021

基于脉冲神经网络的事件驱动角速度回归

本研究首次提出了使用脉冲神经网络 (SNNs) 对事件相机的数据进行时间回归预测的问题，即预测旋转事件相机的 3 自由度角速度。该研究使用了从真实全景图像生成的合成事件相机数据集，证明了可以成功地训练 SNNs 来执行角速度回归。

Mar, 2020

EV-FlowNet: 自监督事件型相机光流估计

本文介绍了一种新的基于自监督深度学习的光流估计方法 EV-FlowNet，用于事件驱动相机。该方法不仅可以准确地估计密集光流，还为其他自监督方法到事件驱动领域提供了转移框架。

Feb, 2018

通过时间动力学学习稀疏事件来进行汽车目标检测

基于事件的传感器与其高时间分辨率（1 微秒）和动态范围（120dB），能够在车辆和无人机等高速平台中部署。然而，事件的高度稀疏和波动性对基于人工神经网络（ANNs）的传统目标检测技术构成了挑战。相比之下，脉冲神经网络（SNNs）由于其固有的时间动态性，在表示基于事件的数据方面非常适用。我们特别演示了膜电位动力学如何在波动事件上调节网络活动，并增强稀疏输入的特征。此外，脉冲触发的自适应阈值可以稳定训练，进一步提高网络性能。基于这一点，我们开发了一种高效的用于基于事件的目标检测的脉冲特征金字塔网络。我们的提出的 SNN 在 Gen1 基准数据集上取得了显著的成绩，达到了 47.7％的平均精度（map50），超过了以前最好的 SNN 9.7％，并展示了 SNN 在基于事件的视觉领域的潜力。我们的模型具有简洁的结构，同时保持了高精度和更低的计算成本，这是稀疏计算的结果。我们的代码将公开提供。

Jul, 2023

基于脉冲神经网络的汽车事件数据目标检测

通过使用事件摄像头直接训练尖峰神经网络，以设计快速高效的汽车嵌入式应用程序，并且采用了最新的尖峰反向传播方法，成功地针对 GEN1 汽车检测事件数据集提出了尖峰神经网络实现目标检测的方法。

May, 2022

通过势辅助的脉冲神经网络实现基于事件的视频重建

本文提出了一种基于全脉冲神经网络 (SNN) 架构的事件相关视频重建框架 (EVSNN)，并采用 Leaky-Integrate-and-Fire (LIF) 神经元和自适应膜电位中间电位助推框架 (PA-EVSNN)，通过对事件相关图像信息的处理，实现与基于人工神经网络（ANN）的模型相当的性能，而且在事件驱动硬件上具有更高的计算效率。

Jan, 2022