Feb, 2024

事件到视频转换用于高空目标检测

PDF
TL;DR使用事件相机收集航拍图像由于图像传感器的能效较高而具有吸引力，然而，事件相机使得后续图像处理复杂化，尤其是在对象检测等复杂任务中。本文研究了事件流在航拍对象检测中的可行性，并证明了密集事件表示与对应的 RGB 帧之间性能存在显著差距的因果关系，其中一部分是由于事件表示与初始化目标检测器权重的预训练数据的重叠不足。然后，我们应用事件到视频转换模型将事件流转换为灰度视频以填补这一差距，结果表明该方法显著提高了性能，甚至在航拍目标任务上优于特定于事件的对象检测技术。这些结果表明事件表示与现有大规模预训练模型之间更好的对齐可能会带来比端到端事件特定架构改进更大的短期性能收益。
发现论文，激发创造
  • 使用 100 万像素事件相机学习物体检测

    本文介绍了一种基于事件相机的物体检测任务的解决方案，包括了首个高分辨率大规模数据集的发布、一种新的递归架构和一种时间一致性损失函数，这些对于更好的训练结果至关重要，而且在需要高动态范围，低延迟且具有挑战性的光照条件的情况下比传统的基于帧的解决方案更加高效而准确。

    Sep, 2020

  • 从事件相机到视频：将现代计算机视觉引入事件相机

    研究使用成熟的计算机视觉技术对从事件数据中重建的视频进行对象分类和图像重建，从而充分发挥事件相机的优异特性。

    Apr, 2019

  • 视频转事件：为事件相机回收视频数据集

    本文提出了一种利用现有的传统相机记录的视频数据生成虚拟事件数据的方法，从而使得神经网络能够使用大量的现有数据集进行训练，从而在物体识别和语义分割领域取得了良好的效果。

    Dec, 2019

  • 事件相机实现高速和高动态范围视频

    本文提出了一种使用循环网络从事件流中直接学习重建图像的方法，并在此基础上扩展到从事件流合成彩色图像的方法，实验证明该网络在处理高速现象和挑战性照明条件下具有较好的图像质量和高动态范围重建，并作为事件数据的中间表示进行了分类和视觉惯性积分导航等应用。

    Jun, 2019

  • 异步事件数据表示的端到端学习

    本文介绍了将事件流转化成基于网格的表示的通用框架，其具有两个主要优势：（i）允许端到端学习输入事件表示，（ii）提供了一个统一记录大多数事件表示的分类法，并识别出新的事件表示方法。通过实验证明，我们的端到端学习事件表示的方法相对于现有技术方法，在光流估计和目标识别上都有约 12％的改进。

    Apr, 2019

  • 降低事件相机的模拟到现实差距

    本文介绍了一种用于提高事件基于 CNNs 的训练数据的策略，可为视频重建网络和光流网络带来 20-40％的性能提升，并提出了一种新的高质量数据集 HQF 以解决事件基于视频重建缺乏质量地真实图像的问题。

    Mar, 2020

  • 基于事件流的视觉目标跟踪：一个高分辨率基准数据集和一种新的基线模型

    通过多模态跟踪和知识蒸馏方法，在高分辨率事件信号下实现了高速低延迟的视觉跟踪的研究。

    Sep, 2023

  • 通过帧与事件流的协作实现可靠的物体跟踪

    本文提出了一个大规模的可见事件跟踪基准测试（VisEvent），由 820 个视频对组成，其中包含以低照度、高速和背景杂波为特点的数据集，将事件流转换为事件图像，并构建了 30 多种基线算法和一个简单但有效的跨模态转换器，以实现可见数据和事件数据之间的更有效特征融合。实验结果验证了模型的有效性。

    Aug, 2021

  • 白天和夜晚的追踪：基于事件相机引导的稳健高效全天物体检测

    通过融合 RGB 和事件信息的轻量级脉冲神经网络，我们提出了一种新颖的对象检测框架 EOLO，实现了稳健高效的全天候检测，在各种光照条件下优于现有检测器 (+3.74% mAP50)。

    Sep, 2023

  • 自动驾驶中基于事件的深度目标检测：综述

    事件相机在自动驾驶中利用事件数据进行目标检测具有竞争优势。该论文提供了事件相机在自动驾驶中目标检测的概述，强调了事件相机的低延迟和轻量级架构的竞争性优势。

    May, 2024