Oct, 2017

利用 IBM 的 TrueNorth 神经突触系统进行事件传感器的尖峰光流处理

PDF
TL;DR该论文描述了一种完全基于脉冲的神经网络，用于从动态视觉传感器数据中估计光流。该神经网络是 Barlow Levick 方法的一种变体，可以与基于 TrueNorth 的神经元实现。该系统在地面真值运动可用的两个记录上进行评估，在传感器和计算的预估功率预算低于 80mW 的情况下，误差率平均终点为 11％。
spike-based neural networkoptical flow estimationdynamic vision sensortruenorth neurosynaptic systembarlow levick method
发现论文，激发创造
  • 神经形态光流与事件相机实时实现

    研究提出了一种结合时间透镜的新型神经网络架构，利用事件视觉和脉冲神经网络技术，以及基于活动和延迟分析的模型简化方法，提高了光流预测的速度并减少了复杂度，同时保持了高精度特性，为实时部署提供了可能性。

    Apr, 2023

  • 无监督学习分层脉冲神经网络用于光流估计：从事件到全局运动知觉

    本文提出了一种基于事件相机的分层尖峰神经网络结构，利用自适应神经元模型和稳定的 STDP 公式，实现了运动（方向和速度）选择的无监督特征提取和局部全局运动感知，验证了在合成和实际事件序列中具有生物视觉运动系统的主要属性，提供了一种能够加速大规模尖峰神经网络模拟的 cuSNN 库。

    Jul, 2018

  • Spike-FlowNet: 基于事件的光流估计与节能混合神经网络

    该论文介绍了一个基于 Spike-FlowNet 的深度混合神经网络体系结构，用于有效地估计来自稀疏事件相机输出的光流，同时提供了显着的计算效率。

    Mar, 2020

  • 脉冲相机的光流估计

    介绍了一种基于深度学习的用于估计高速场景下 spiking 相机的光流的流水线，并引入了一种新的输入表示方法以自适应地去除 spike 流中的运动模糊。通过在名为 SPIFT 和 PHM 的场景中合成的光流数据进行训练，该方法显示出对不同高速场景下的 spiking 数据能够有效地预测结果。

    Oct, 2021

  • 基于脉冲神经网络的事件光流自监督学习

    该文探索将类脑计算应用于复杂的视觉任务，使用改进的训练方法和异步通道的重思路，使节能峰值处理和传感更加高效。

    Jun, 2021

  • 时空循环神经网络用于基于事件的光流估计

    本文提出了一种新颖的输入表示法，捕捉事件的时间分布以增强信号，并介绍了一种利用卷积门控循环单元从一系列事件图像中提取特征图的时空循环编码 - 解码神经网络体系结构，其中允许整合一些基于帧的核心模块，如相关层和迭代残差精化方案，它在 Multi-VehicleStereoEventCamera 数据集上进行自我监督学习的端到端训练，表现优于现有所有最先进的方法。

    Sep, 2021

  • TrueNorth 芯片推理准确性、核心占用和性能协同优化的新学习方法

    本文介绍了一种在 TrueNorth 平台上的学习方法，通过约束每个计算副本的随机变量并减少所需的副本数量，可以实现更高的执行效率和更准确的推理，最多可将所需的神经 - 突触核心减少 68.8％或加速 6.5 倍，推理精度略有提高。

    Apr, 2016

  • 3D-FlowNet：使用三维表示的事件驱动光流估计

    本文提出了一种改进的 2D 编码事件数据的 3D 表达方法，并介绍了 3D-FlowNet 网络体系结构以进行光流估计，并采用自监督训练策略来弥补事件相机标记数据的缺乏。结果表明，我们的 3D-FlowNet 具有更好的性能。

    Jan, 2022

  • 一种低功耗的神经形态学方法实现高效眼动跟踪

    本文介绍了一种用于眼动追踪的神经形态学方法，利用由 Dynamic Vision Sensor（DVS）摄像头捕获的纯事件数据。该方法结合了一个经过直接训练的脉冲神经网络回归模型，并利用了一种先进的低功耗边缘神经形态学处理器 Speck，旨在提高眼动追踪系统的精确度和效率。

    Dec, 2023

  • NeuFlow：在边缘设备上实时高精度机器人光流估计

    我们提出了一种高效的光流架构 NeuFlow，通过全局到局部的匹配方案，在不同计算平台上显著提高了效率，并成功在小型机器人如无人机上实现了复杂的计算机视觉任务，如实时定位与地图构建（SLAM）。

    Mar, 2024