Sep, 2020

使用 100 万像素事件相机学习物体检测

PDF
TL;DR本文介绍了一种基于事件相机的物体检测任务的解决方案，包括了首个高分辨率大规模数据集的发布、一种新的递归架构和一种时间一致性损失函数，这些对于更好的训练结果至关重要，而且在需要高动态范围，低延迟且具有挑战性的光照条件的情况下比传统的基于帧的解决方案更加高效而准确。
event camerasobject detectionevent-based processingrecurrent architecturehigh-resolution dataset
发现论文，激发创造
  • 事件相机实现高速和高动态范围视频

    本文提出了一种使用循环网络从事件流中直接学习重建图像的方法，并在此基础上扩展到从事件流合成彩色图像的方法，实验证明该网络在处理高速现象和挑战性照明条件下具有较好的图像质量和高动态范围重建，并作为事件数据的中间表示进行了分类和视觉惯性积分导航等应用。

    Jun, 2019

  • 从事件相机到视频：将现代计算机视觉引入事件相机

    研究使用成熟的计算机视觉技术对从事件数据中重建的视频进行对象分类和图像重建，从而充分发挥事件相机的优异特性。

    Apr, 2019

  • 高分辨率事件相机行人检测

    本文研究使用事件相机结合深度学习进行行人检测任务，并比较了不同处理方法的效果，结果表明事件相机是解决现有问题的潜在技术。

    May, 2023

  • 自动驾驶中基于事件的深度目标检测：综述

    事件相机在自动驾驶中利用事件数据进行目标检测具有竞争优势。该论文提供了事件相机在自动驾驶中目标检测的概述，强调了事件相机的低延迟和轻量级架构的竞争性优势。

    May, 2024

  • 视频转事件：为事件相机回收视频数据集

    本文提出了一种利用现有的传统相机记录的视频数据生成虚拟事件数据的方法，从而使得神经网络能够使用大量的现有数据集进行训练，从而在物体识别和语义分割领域取得了良好的效果。

    Dec, 2019

  • 降低事件相机的模拟到现实差距

    本文介绍了一种用于提高事件基于 CNNs 的训练数据的策略，可为视频重建网络和光流网络带来 20-40％的性能提升，并提出了一种新的高质量数据集 HQF 以解决事件基于视频重建缺乏质量地真实图像的问题。

    Mar, 2020

  • 基于事件流的视觉目标跟踪：一个高分辨率基准数据集和一种新的基线模型

    通过多模态跟踪和知识蒸馏方法，在高分辨率事件信号下实现了高速低延迟的视觉跟踪的研究。

    Sep, 2023

  • 事件驱动视觉：综述

    介绍了事件相机技术的工作原理，可用传感器和任务，包括低级视觉和高级视觉，并讨论了处理事件的技术，特别是基于学习的技术和专门为这些传感器设计的处理器，如脉冲神经网络，同时提出了待解决的挑战和未来机器感知及与世界互动的新机遇。

    Apr, 2019

  • 基于事件相机的物体识别的注意力机制

    本文提出了基于视觉关注的两种事件视觉注意力模型，一种通过跟踪视野内的事件活动来定位关注区域，另一种基于 DRAW 神经模型和全微分注意力程序，使用 Phased LSTM 识别网络作为基线参考模型并在四个数据集上进行验证，获得了在平移和尺度不变性方面的提升。

    Jul, 2018

  • 事件到视频转换用于高空目标检测

    使用事件相机收集航拍图像由于图像传感器的能效较高而具有吸引力，然而，事件相机使得后续图像处理复杂化，尤其是在对象检测等复杂任务中。本文研究了事件流在航拍对象检测中的可行性，并证明了密集事件表示与对应的 RGB 帧之间性能存在显著差距的因果关系，其中一部分是由于事件表示与初始化目标检测器权重的预训练数据的重叠不足。然后，我们应用事件到视频转换模型将事件流转换为灰度视频以填补这一差距，结果表明该方法显著提高了性能，甚至在航拍目标任务上优于特定于事件的对象检测技术。这些结果表明事件表示与现有大规模预训练模型之间更好的对齐可能会带来比端到端事件特定架构改进更大的短期性能收益。

    Feb, 2024