CVPRMay, 2018

神经形态相机中的异步卷积网络物体检测

PDF
TL;DR本文提出了两种神经网络结构，分别是基于事件的相位叠加帧模型的 YOLE 和异步基于事件的完全卷积网络 fcYOLE，用于在基于事件的摄像头上进行物体检测，通过不同的扩展公开数据集和人工合成数据集的评估，展示了该算法的性能。
event-based camerasneuromorphic camerasobject detectionneural networkssparsity
发现论文，激发创造
  • 基于事件的异步稀疏卷积网络

    本研究提出了一种通用的框架，将基于同步图像事件表示训练的模型转换为具有相同输出的异步模型，以便直接利用事件数据的本质异步性和稀疏性，并在目标检测和识别任务中实现了高达 20 倍计算复杂度的降低和 24% 的精度提高。

    Mar, 2020

  • EventNet：异步递归事件处理

    本研究提出了 EventNet，一种基于新型视觉传感器的神经网络，旨在实时处理异步事件流，并采用了新的时间编码方案来建模输出对数万个因果事件的依赖关系，同时在标准 CPU 上每秒处理百万个事件，通过实验验证了该框架的实时性和稳健性。

    Dec, 2018

  • 基于对象场景卷积神经网络的图像事件识别

    本文提出一种基于深度神经网络的新型架构 OS-CNN，分解为物体和场景两个网络，分别从物体和场景的角度提取有用信息，设计了不同的网络架构，最终提出了一种 5 个流 CNN 的解决方案，在 ChaLearn Looking at People (LAP) challenge 2015 比赛中取得了 85.5% 的性能并排名第 1。

    May, 2015

  • EDeNN: 用于低延迟视觉的事件衰减神经网络

    利用事件相机的异步像素来开发新型神经网络在角速度回归和光流估计方面表现出最先进的性能。

    Sep, 2022

  • 降低事件相机的模拟到现实差距

    本文介绍了一种用于提高事件基于 CNNs 的训练数据的策略，可为视频重建网络和光流网络带来 20-40％的性能提升，并提出了一种新的高质量数据集 HQF 以解决事件基于视频重建缺乏质量地真实图像的问题。

    Mar, 2020

  • 面向事件相机的内存高效图卷积网络用于目标分类和检测

    最近在事件相机研究中，通过使用原始稀疏形式的数据进行处理，凭借其独特的特点（如高时间分辨率、高动态范围、低延迟和抗图像模糊性），取得了一些进展。其中，基于图卷积网络（GCNs）的事件数据分析方法令人期待。然而，在该领域的当前研究主要集中在优化计算成本上，却忽视了相应的内存成本。本文综合考虑了执行时间、可训练模型参数数量、数据格式要求和训练结果等因素，进行了不同图卷积操作的比较分析，结果显示，相较于最先进方法使用的操作，特征提取模块的参数数量减少了 450 倍，数据表示的大小减少了 4.5 倍，同时保持了 52.3% 的分类准确率，比最先进方法提高了 6.3%。为了进一步评估性能，我们实现了目标检测体系结构，并在 N-Caltech101 数据集上评估了其性能，结果显示其在 0.5 的 mAP 下达到了 53.7% 的准确率，并达到了每秒 82 个图的执行速度。

    Jul, 2023

  • 使用异步 “事件” 进行运动估计更好

    该论文介绍了一种基于神经网络的异步处理 Event-based Camera 事件流的方法，利用前一时刻的动态信息和灰度帧的关键特征，提取事件中的动态信息，相较现有同类研究结果表现优异。

    Apr, 2019

  • 自动驾驶中基于事件的深度目标检测：综述

    事件相机在自动驾驶中利用事件数据进行目标检测具有竞争优势。该论文提供了事件相机在自动驾驶中目标检测的概述，强调了事件相机的低延迟和轻量级架构的竞争性优势。

    May, 2024

  • 异步事件数据表示的端到端学习

    本文介绍了将事件流转化成基于网格的表示的通用框架，其具有两个主要优势：（i）允许端到端学习输入事件表示，（ii）提供了一个统一记录大多数事件表示的分类法，并识别出新的事件表示方法。通过实验证明，我们的端到端学习事件表示的方法相对于现有技术方法，在光流估计和目标识别上都有约 12％的改进。

    Apr, 2019

  • 基于图学习的神经形态成像和分类

    提出了一种新的图表示方法将事件数据与图转换器相结合，用于准确的神经形态分类任务。通过广泛实验表明，该方法在仅有少量事件和有限计算资源的困难真实场景中表现出优异效果，为嵌入移动设备的神经形态应用开辟了道路。

    Sep, 2023