CVPRApr, 2023

神经形态光流与事件相机实时实现

PDF
TL;DR研究提出了一种结合时间透镜的新型神经网络架构，利用事件视觉和脉冲神经网络技术，以及基于活动和延迟分析的模型简化方法，提高了光流预测的速度并减少了复杂度，同时保持了高精度特性，为实时部署提供了可能性。
发现论文，激发创造
  • Spike-FlowNet: 基于事件的光流估计与节能混合神经网络

    该论文介绍了一个基于 Spike-FlowNet 的深度混合神经网络体系结构，用于有效地估计来自稀疏事件相机输出的光流，同时提供了显着的计算效率。

    Mar, 2020

  • 时空循环神经网络用于基于事件的光流估计

    本文提出了一种新颖的输入表示法，捕捉事件的时间分布以增强信号，并介绍了一种利用卷积门控循环单元从一系列事件图像中提取特征图的时空循环编码 - 解码神经网络体系结构，其中允许整合一些基于帧的核心模块，如相关层和迭代残差精化方案，它在 Multi-VehicleStereoEventCamera 数据集上进行自我监督学习的端到端训练，表现优于现有所有最先进的方法。

    Sep, 2021

  • 基于脉冲神经网络的事件光流自监督学习

    该文探索将类脑计算应用于复杂的视觉任务，使用改进的训练方法和异步通道的重思路，使节能峰值处理和传感更加高效。

    Jun, 2021

  • 3D-FlowNet：使用三维表示的事件驱动光流估计

    本文提出了一种改进的 2D 编码事件数据的 3D 表达方法，并介绍了 3D-FlowNet 网络体系结构以进行光流估计，并采用自监督训练策略来弥补事件相机标记数据的缺乏。结果表明，我们的 3D-FlowNet 具有更好的性能。

    Jan, 2022

  • 脉冲相机的光流估计

    介绍了一种基于深度学习的用于估计高速场景下 spiking 相机的光流的流水线，并引入了一种新的输入表示方法以自适应地去除 spike 流中的运动模糊。通过在名为 SPIFT 和 PHM 的场景中合成的光流数据进行训练，该方法显示出对不同高速场景下的 spiking 数据能够有效地预测结果。

    Oct, 2021

  • 无监督学习分层脉冲神经网络用于光流估计：从事件到全局运动知觉

    本文提出了一种基于事件相机的分层尖峰神经网络结构，利用自适应神经元模型和稳定的 STDP 公式，实现了运动（方向和速度）选择的无监督特征提取和局部全局运动感知，验证了在合成和实际事件序列中具有生物视觉运动系统的主要属性，提供了一种能够加速大规模尖峰神经网络模拟的 cuSNN 库。

    Jul, 2018

  • 利用 IBM 的 TrueNorth 神经突触系统进行事件传感器的尖峰光流处理

    该论文描述了一种完全基于脉冲的神经网络，用于从动态视觉传感器数据中估计光流。该神经网络是 Barlow Levick 方法的一种变体，可以与基于 TrueNorth 的神经元实现。该系统在地面真值运动可用的两个记录上进行评估，在传感器和计算的预估功率预算低于 80mW 的情况下，误差率平均终点为 11％。

    Oct, 2017

  • NeuFlow：在边缘设备上实时高精度机器人光流估计

    我们提出了一种高效的光流架构 NeuFlow，通过全局到局部的匹配方案，在不同计算平台上显著提高了效率，并成功在小型机器人如无人机上实现了复杂的计算机视觉任务，如实时定位与地图构建（SLAM）。

    Mar, 2024

  • EV-FlowNet: 自监督事件型相机光流估计

    本文介绍了一种新的基于自监督深度学习的光流估计方法 EV-FlowNet，用于事件驱动相机。该方法不仅可以准确地估计密集光流，还为其他自监督方法到事件驱动领域提供了转移框架。

    Feb, 2018

  • EDeNN: 用于低延迟视觉的事件衰减神经网络

    利用事件相机的异步像素来开发新型神经网络在角速度回归和光流估计方面表现出最先进的性能。

    Sep, 2022