Sep, 2024

基于帧事件融合网络的高帧率任意点跟踪

HTML
PDF
TL;DR本研究解决了基于图像帧的任意点跟踪在高速场景下的不稳定性和有限泛化能力的问题。提出了一种图像事件融合点跟踪器FE-TAP，通过结合图像帧的上下文信息和高时间分辨率事件，实现了高帧率和强健的点跟踪。实验表明，该方法在EDS数据集上比现有最优方法提高了24%的预期特征年龄，展示了其在真实驾驶场景中的优越性。
发现论文，激发创造
  • 通过帧与事件流的协作实现可靠的物体跟踪

    本文提出了一个大规模的可见事件跟踪基准测试（VisEvent），由820个视频对组成，其中包含以低照度、高速和背景杂波为特点的数据集，将事件流转换为事件图像，并构建了30多种基线算法和一个简单但有效的跨模态转换器，以实现可见数据和事件数据之间的更有效特征融合。实验结果验证了模型的有效性。

    Aug, 2021

  • 利用帧和事件域联合探测物体轨迹

    本研究提出了一种多模态方法，可以在单个目标追踪中融合来自帧域和事件域的视觉线索以提高其性能，并通过一种新颖的设计的跨域注意方案有效地和自适应地结合有意义的信息。我们的方法利用自适应平衡方案，其中可以平衡两种领域的贡献。实验证明，所提出的方法的效果比最先进的基于帧的跟踪方法至少提高了10.4％和11.9％，并且有效性得到了充分的验证。

    Sep, 2021

  • 高帧率跟踪的帧-事件对齐与融合网络

    该论文提出了使用多模方式结合 RGB-based trackers 和 event-based cameras 进行 high frame rate tracking 的方法，并应用 multi-modality alignment 和 fusion modules 对两种模式的信息进行融合。在 FE240hz 数据集上，该方法表现优异，实现了高达 240Hz 的高帧率追踪。

    May, 2023

  • Context-TAP：跟踪任何点并使用空间上下文特征

    该研究提出了一种新的视频点追踪框架Context-TAP，通过聚合空间上下文特征，有效地提高了点轨迹的准确性。

    Jun, 2023

  • TAPIR: 使用逐帧初始化和时间细化技术追踪任意点

    本研究提出了一种名为TAP的新型模型，能在视频序列中高效地跟踪任何查询点，包含匹配阶段和细化阶段，且比基准方法表现更优，可快速适用于长且高分辨率的视频序列，具有实时的跟踪速度。

    Jun, 2023

  • 基于事件流的视觉目标跟踪：一个高分辨率基准数据集和一种新的基线模型

    通过多模态跟踪和知识蒸馏方法，在高分辨率事件信号下实现了高速低延迟的视觉跟踪的研究。

    Sep, 2023

  • BootsTAP：跟踪的引导式训练

    通过自我监督的师生设置，使用大规模无标签、无筛选的真实世界数据，以最小的架构改变改进 Tracking-Any-Point (TAP) 模型，实现了在 TAP-Vid 基准测试中的最新性能，超过先前研究结果很大幅度：例如、TAP-Vid-DAVIS 性能从61.3% 提高到66.4%，TAP-Vid-Kinetics 从 57.2% 提高到 61.5%。

    Feb, 2024

  • TAPTR：使用Transformers作为检测器的任意点跟踪

    基于对点追踪与目标检测的相似性的观察，本文提出了一种简单而强大的使用TRansformers进行Tracking Any Point（TAPTR）的框架。

    Mar, 2024

  • Mamba-FETrack: 基于状态空间模型的帧事件跟踪

    RGB-Event based tracking framework, Mamba-FETrack, utilizing State Space Model achieves high-performance tracking while reducing computational costs, providing efficiency and effectiveness.

    Apr, 2024

  • 使用分层特征细化网络来融合事件和框架用于目标检测

    本文提出了一种新颖的分层特征细化网络，用于事件-帧融合，核心概念是设计了粗到细的融合模块，称为跨模态自适应特征细化（CAFR）模块。实验证明，该方法在高分辨率数据集上胜过现有技术8.0%，同时，在引入15种不同的图像损坏类型时具有显著更好的鲁棒性（69.5%对比38.7%）。

    Jul, 2024