Jan, 2024

CRSOT: 使用非对准帧和事件相机进行跨分辨率目标跟踪

PDF
TL;DR使用不对齐的神经形态和可见光相机进行目标跟踪，提出了一种新的跟踪框架，能够通过提取 RGB 和 Event 数据的特征，并利用不确定性感知模块和融合模块实现高性能的跟踪。
发现论文，激发创造
  • 重新考虑基于颜色事件的跟踪：一种统一的网络、数据集和度量方法

    本文提出了一种名为 CEUTrack 的单阶段骨干网络，该网络通过 Transformer 骨干网络实现了特征提取、融合、匹配和互动学习等功能，用于对基于颜色和事件的物体进行跟踪。此外，我们还提出了一个大规模基准数据集 COESOT，并提出了一种新的评估指标 BOC。

    Nov, 2022

  • 基于事件流的视觉目标跟踪：一个高分辨率基准数据集和一种新的基线模型

    通过多模态跟踪和知识蒸馏方法，在高分辨率事件信号下实现了高速低延迟的视觉跟踪的研究。

    Sep, 2023

  • 高帧率跟踪的帧 - 事件对齐与融合网络

    该论文提出了使用多模方式结合 RGB-based trackers 和 event-based cameras 进行 high frame rate tracking 的方法，并应用 multi-modality alignment 和 fusion modules 对两种模式的信息进行融合。在 FE240hz 数据集上，该方法表现优异，实现了高达 240Hz 的高帧率追踪。

    May, 2023

  • 通过帧与事件流的协作实现可靠的物体跟踪

    本文提出了一个大规模的可见事件跟踪基准测试（VisEvent），由 820 个视频对组成，其中包含以低照度、高速和背景杂波为特点的数据集，将事件流转换为事件图像，并构建了 30 多种基线算法和一个简单但有效的跨模态转换器，以实现可见数据和事件数据之间的更有效特征融合。实验结果验证了模型的有效性。

    Aug, 2021

  • 基于视网膜事件的端到端目标动态估计的学习，用于事件驱动的目标跟踪

    本文提出了一种基于事件相机和深度神经网络的实时物体追踪方法，使用同步时间表面和线性时间衰减表示异步视网膜事件的信息，并通过独创的神经网络模型处理各种复杂的情况，如快速动态和低照度条件等使得实验结果表明该方法优于以往传统的物体追踪方法。

    Feb, 2020

  • 长期框架 - 事件视觉跟踪：基准数据集和基线

    提出了一个新的长期和大规模帧事件单目标跟踪数据集（FELT），该数据集包含 742 个视频和 1,594,474 个 RGB 帧和事件流对，已成为迄今为止最大的帧事件跟踪数据集。通过引入现代 Hopfield 层到多头自注意力块中的联想记忆 Transformer 网络来融合 RGB 和事件数据，验证了模型的有效性。

    Mar, 2024

  • 具挑战条件下的跨模态半密集 6 自由度事件相机跟踪

    使用基于事件的相机进行视觉定位，通过几何三维到二维的映射和极性感知的注册方法实现高可靠性和准确性的多模态跟踪，同时引入新的遮挡点筛选策略提高追踪器的速度和鲁棒性。

    Jan, 2024

  • TUMTraf 事件：校准和融合产生的道路事件和 RGB 摄像头数据集

    事件相机在智能交通系统中具有潜力，可以提供高时空分辨率和动态范围，消除运动模糊，更易于夜间识别物体。然而，事件相机缺乏颜色和纹理，因此需要与传统 rgb 相机进行数据融合和外部校准。本研究通过聚类方法扩展了无标定的校准方法以处理多个移动物体，并提出了融合策略。实验证明了校准方法的有效性，并通过事件相机数据融合方法在白天和夜间中提高了物体检测性能。

    Jan, 2024

  • 递归视觉 Transformer 用于事件相机目标检测

    本文提出了使用 Recurrent Vision Transformers 来实现基于事件相机进行低延迟目标检测的创新方法，通过使用卷积先验、本地和扩张全局自我关注，以及循环时间特征聚合等方法，在不损失性能的情况下降低了推理时间，并在 Gen1 汽车数据集上实现了 47.2％ 的 mAP。

    Dec, 2022

  • 基于事件的移动物体检测与跟踪

    本文提出了一种基于动态视觉传感器的异步相机的新颖跟踪算法，该算法可以在极低光和噪声条件下，无需任何外部传感器，且无需任何特征跟踪或显式光流计算即可检测和跟踪不同移动对象。

    Mar, 2018