Feb, 2023

站在过去和未来之间：多摄像头 3D 多物体跟踪的时空建模

PDF
TL;DR本文介绍了一种名为 PF-Track 的多相机 3D 多目标跟踪框架，它重点强调时空连续性，过去和未来的推理，采用 “注意跟踪” 框架，并使用对象查询一致地表示跟踪实例，以明确使用历史线索，显式地引用前面帧和其他对象的查询，从而学习优化轨迹并增强物体特征。
multi-camera trackingspatio-temporal continuitypast-and-future reasoning for trackingtracking by attentionobject queries
发现论文，激发创造
  • 通过空间和时间变换器进行端到端多目标跟踪，超越两帧限制

    使用 Transformer 和时空嵌入的 MO3TR 方法，具有空间和时间注意机制，无需显式的数据聚类模块或任何启发式方法，成功解决了多物体追踪过程中的诸多挑战，表现方面同多个 popular MOT 图像和视频基准测试的现有最先进技术几乎相当或更好。

    Mar, 2021

  • TrajectoryFormer：基于预测轨迹假设的三维物体跟踪变换器

    TrajectoryFormer 是一种基于点云的 3D 多目标跟踪 (MOT) 框架，通过使用带有时间预测框和当前帧检测框的多个轨迹假设进行轨迹框关联，结合长期目标运动特征和短期目标外观特征来创建每个假设的特征嵌入，引入全局 - 局部交互模块来模拟所有假设的空间关系，从而达到 Waymo 3D MOT 基准测试中的最佳性能。

    Jun, 2023

  • TrackFormer：基于 Transformer 的多目标跟踪

    TrackFormer 是基于编码器 - 解码器变压器架构的端到端可训练的多目标追踪方法，利用注意力实现帧到帧的数据关联，以查询的形式自回归地跟踪现有轨迹并初始化新轨迹，能够实现目前最先进的多目标跟踪的性能。

    Jan, 2021

  • 通过预测物体移动来学习时间线索的多摄像头三维物体检测

    在自动驾驶和机器人技术中，利用短期历史数据增强多摄像头 3D 物体检测的兴趣日益增长，通过利用输入视频流的连续且相关性质来实现。最近的研究集中在基于 BEV（鸟瞰图）的特征在时间步内的空间对齐上。然而，由于长期过去的观测没有良好的扩展效果，这方面的工作通常受限。为了解决这个问题，我们提出了一种名为 DAP（预测后检测）的模型，包括两个分支网络：（一）一个分支负责根据过去的观测预测当前物体的位置，（二）另一个分支基于当前和过去的观测来检测物体。从分支（一）预测当前物体的特征被融合到分支（二）中以传递预测性知识。我们在大规模的 nuScenes 数据集上进行了广泛的实验，并观察到利用这种预测信息显著提高了整体检测性能。我们的模型可以即插即用，表现出一致的性能提升。

    Apr, 2024

  • 深入研究单目三维物体跟踪中的动作感知匹配

    提出了一种基于运动感知的单目三维多目标跟踪（MoMA-M3T）框架，通过在时间帧内捕捉物体的运动线索，将历史物体轨迹与当前观察结果进行匹配，实现与最先进方法相媲美的性能。

    Aug, 2023

  • 3DMOTFormer：在线三维多目标跟踪的图形转换器

    基于 Transformer 架构构建的学习几何 3D MOT 框架 3DMOTFormer，在进行跟踪检测双向图的基础上，通过边分类进行数据关联，并提出了一种新颖的在线训练策略，通过自回归和递归前向传播以及序列化批量优化来减少训练和推断之间的分布不匹配。

    Aug, 2023

  • MAT: 移动感知多物体跟踪

    本研究提出了一种增强型的运动感知多目标跟踪系统，集成了不同对象的多种运动模式，并引入动态重连上下文模块、三维积分图像模块等手段，取得了比其他先进跟踪器更为优越的高效性能。

    Sep, 2020

  • MotionTrack: 学习多目标跟踪的强健短期和长期运动

    本文提出了一种名为 MotionTrack 的简单而有效的多目标跟踪器，它在统一框架中学习健壮的短期和长期运动，以将轨迹从短范围关联到长范围。通过在检测范例跟踪中嵌入 Interaction Module 和 Refind Module​​，在挑战性场景中，该方法在各种 MOT 指标上均实现了最先进的性能。

    Mar, 2023

  • 非受限环境下的多人跟踪和再识别的 Transformer 网络

    提出了一个综合的多目标跟踪方法 STMMOT，该方法结合了目标检测和身份链接，能够在长时间内维持目标身份链接，并利用具有注意力机制的鲁棒时空记忆模块和动态查询嵌入来预测目标状态，消除了后处理的需求。

    Dec, 2023

  • ETTrack：增强的多目标跟踪时间性运动预测器

    提出了一种基于运动的多目标跟踪方法，称为 ETTrack，它融合了变换器模型和时间卷积网络，利用历史运动信息预测个体物体的未来运动，并通过新颖的动量修正损失函数提高了预测准确性，实验证明 ETTrack 在 DanceTrack 和 SportsMOT 上取得了与最先进跟踪器竞争性的性能，分别达到 56.4％和 74.4％的 HOTA 指标。

    May, 2024