Jan, 2024

TUMTraf 事件：校准和融合产生的道路事件和 RGB 摄像头数据集

PDF
TL;DR事件相机在智能交通系统中具有潜力，可以提供高时空分辨率和动态范围，消除运动模糊，更易于夜间识别物体。然而，事件相机缺乏颜色和纹理，因此需要与传统 rgb 相机进行数据融合和外部校准。本研究通过聚类方法扩展了无标定的校准方法以处理多个移动物体，并提出了融合策略。实验证明了校准方法的有效性，并通过事件相机数据融合方法在白天和夜间中提高了物体检测性能。
event-based camerasintelligent transportation systemsdata fusioncalibrationsynchronized event-based and rgb camera datasets
发现论文，激发创造
  • 多车立体事件相机数据集：用于三维感知的事件相机数据集

    本文介绍了一个新的被动感知方式 —— 事件相机，可以完成多种 3D 感知任务，并提供了一个涵盖各种环境和照明水平的大型数据集，包括了事件流、灰度图像和 IMU 读数，并提供了真确的姿势和深度图像。同时还提供了来自基于框架的立体相机系统的同步灰度图像和 IMU 读数的比较。

    Jan, 2018

  • 高帧率跟踪的帧 - 事件对齐与融合网络

    该论文提出了使用多模方式结合 RGB-based trackers 和 event-based cameras 进行 high frame rate tracking 的方法，并应用 multi-modality alignment 和 fusion modules 对两种模式的信息进行融合。在 FE240hz 数据集上，该方法表现优异，实现了高达 240Hz 的高帧率追踪。

    May, 2023

  • eTraM：基于事件的交通监测数据集

    通过 eTraM 数据集的量化评估和对事件相机在交通监控中的潜力的发现，我们证实了事件相机在交通监控中的巨大潜力，为研究和应用开辟了新的途径。

    Mar, 2024

  • 基于事件流的视觉目标跟踪：一个高分辨率基准数据集和一种新的基线模型

    通过多模态跟踪和知识蒸馏方法，在高分辨率事件信号下实现了高速低延迟的视觉跟踪的研究。

    Sep, 2023

  • 长期框架 - 事件视觉跟踪：基准数据集和基线

    提出了一个新的长期和大规模帧事件单目标跟踪数据集（FELT），该数据集包含 742 个视频和 1,594,474 个 RGB 帧和事件流对，已成为迄今为止最大的帧事件跟踪数据集。通过引入现代 Hopfield 层到多头自注意力块中的联想记忆 Transformer 网络来融合 RGB 和事件数据，验证了模型的有效性。

    Mar, 2024

  • 利用事件相机观测夜间运动

    我们提出了一种针对夜间动态场景的新方法，利用事件相机进行成像。我们通过时间尾随特性和空间非均匀分布的观察，构建了一个夜间事件重建网络，包括学习能力的事件时间戳校准模块以对齐时间尾随事件，和一个非均匀光照感知模块以稳定时空事件分布。通过构建配对的真实低光事件数据集，我们的方法在视觉质量和泛化能力上都优于现有方法。

    Apr, 2024

  • 将事件融入 RGB 和 LiDAR：用于场景流的分层视觉动态融合

    本论文提出了一种新的分层式视觉 - 运动融合框架用于场景流，通过将事件作为 RGB 和 LiDAR 之间的桥梁，探索同质化空间来融合跨模态的互补知识，从而逐步改善场景流。

    Mar, 2024

  • EvPlug: 事件与图像融合的即插即用模块学习

    该论文提出了 EvPlug，一种能够将事件相机与图像相结合的方法，在不需要像素级对齐的情况下，通过学习融合模块的方式，使得 RGB 模型在高动态范围和快速运动场景下具备鲁棒性和高时序分辨率推理能力，从而在物体检测、语义分割和 3D 手姿估计等多个视觉任务中展现了优越性。

    Dec, 2023

  • 重新考虑基于颜色事件的跟踪：一种统一的网络、数据集和度量方法

    本文提出了一种名为 CEUTrack 的单阶段骨干网络，该网络通过 Transformer 骨干网络实现了特征提取、融合、匹配和互动学习等功能，用于对基于颜色和事件的物体进行跟踪。此外，我们还提出了一个大规模基准数据集 COESOT，并提出了一种新的评估指标 BOC。

    Nov, 2022

  • 重新审视基于事件的视频帧插值

    利用动态视觉传感器或事件相机进行视频帧插值，结合 RGB 信息的事件引导光流细化策略和分阶段的中间帧合成策略，可以获得比先前的视频帧插值方法更可靠和更真实的中间帧结果。

    Jul, 2023