May, 2024

PuTR: 用于解耦和在线多目标跟踪的纯 Transformer

PDF
TL;DR最近的多目标追踪 (Multi-Object Tracking, MOT) 的前沿研究通过解耦跟踪 - 检测在线范式在短期关联方面取得了显著的成功，但是长期追踪仍然是一个具有挑战性的任务。本论文提出了一种基于 Transformer 的方法，它可以自然地将短期和长期关联解耦并在线进行，通过模型化轨迹为有向无环图，并用二元邻接矩阵表示，实验证明这种方法在多个数据集上取得了强大的基线性能，并在领域迁移方面具有优势，同时由于解耦性质，训练和推理也更加高效。
发现论文，激发创造
  • 非受限环境下的多人跟踪和再识别的 Transformer 网络

    提出了一个综合的多目标跟踪方法 STMMOT，该方法结合了目标检测和身份链接，能够在长时间内维持目标身份链接，并利用具有注意力机制的鲁棒时空记忆模块和动态查询嵌入来预测目标状态，消除了后处理的需求。

    Dec, 2023

  • TransMOT: 面向多目标跟踪的时空图形变换器

    本文提出一种名为 TransMOT 的解决方案，利用强大的图形转换器来有效建模目标的空间和时间互作用，通过将轨迹作为一组稀疏加权图来排列跟踪对象的轨迹，并构建基于图形的空间图形变换器编码器层、时间变换器编码器层和空间图形变换器解码器层。Proposed 方法在多个基准数据集上进行评估，包括 MOT15、MOT16、MOT17 和 MOT20，在所有数据集上都达到了最先进的性能。

    Apr, 2021

  • 3DMOTFormer：在线三维多目标跟踪的图形转换器

    基于 Transformer 架构构建的学习几何 3D MOT 框架 3DMOTFormer，在进行跟踪检测双向图的基础上，通过边分类进行数据关联，并提出了一种新颖的在线训练策略，通过自回归和递归前向传播以及序列化批量优化来减少训练和推断之间的分布不匹配。

    Aug, 2023

  • 通过空间和时间变换器进行端到端多目标跟踪，超越两帧限制

    使用 Transformer 和时空嵌入的 MO3TR 方法，具有空间和时间注意机制，无需显式的数据聚类模块或任何启发式方法，成功解决了多物体追踪过程中的诸多挑战，表现方面同多个 popular MOT 图像和视频基准测试的现有最先进技术几乎相当或更好。

    Mar, 2021

  • 全球跟踪变压器

    本论文提出了一种新型基于 Transformer 的架构，用于全局多目标跟踪，通过对各帧图像上的物体特征进行编码，通过路径查询将其分组成轨迹，与目标检测器联合训练，可以实现对任意对象的跟踪，并在 MOT17 基准测试中实现了 75.3 的 MOTA 和 59.1 的 HOTA，超越了基于成对联想的基线，并在 TAO 数据集上得到显著的 7.7 跟踪 mAP 的提高。

    Mar, 2022

  • TrackFormer：基于 Transformer 的多目标跟踪

    TrackFormer 是基于编码器 - 解码器变压器架构的端到端可训练的多目标追踪方法，利用注意力实现帧到帧的数据关联，以查询的形式自回归地跟踪现有轨迹并初始化新轨迹，能够实现目前最先进的多目标跟踪的性能。

    Jan, 2021

  • MOTR: 使用 Transformer 进行端到端的多目标追踪

    本文介绍了一种名为 MOTR 的方法，它使用 track query 来建模整个视频中的跟踪实例，并引入了一种新的时域关系建模方法。实验结果表明，MOTR 在 HOTA 指标上比现有技术 ByteTrack 提高了 6.5%，在 MOT17 测试中，MOTR 的关联性能也胜过了 TrackFormer 和 TransTrack。

    May, 2021

  • MotionTrack: 基于 Transformer 的端到端多目标追踪与 LiDAR - 摄像头融合

    提出了一种基于 Transformer 的多模态传感器输入的端到端多目标跟踪算法（MotionTrack），它由基于 Transformer 的数据关联（DA）模块和基于 Transformer 的查询增强模块组成，同时实现了多目标检测（MOD）。MotionTrack 及其变体在 nuScenes 数据集上获得更好的结果（AMOTA 得分为 0.55），与 AB3DMOT、CenterTrack 和概率 3D 卡尔曼滤波器等经典基线模型相比有着更好的表现。

    Jun, 2023

  • TransTrack：基于 Transformer 的多目标跟踪

    本文提出了 TransTrack，该方法利用 Transformer 架构解决多目标跟踪问题，采用对象特征作为当前帧的查询并引入一组学习对象查询以检测新对象，通过实现单次检测和跟踪建立了新的联合检测和跟踪范例，在 MOT17 和 MOT20 基准测试中达到了 74.5％和 64.5％的 MOTA，是一种优秀的多目标跟踪方法。

    Dec, 2020

  • MeMOTR: 长期记忆增强转换器用于多目标跟踪

    我们提出了 MeMOTR，一种用于多目标跟踪的长期记忆增强 Transformer 模型，通过使用自定义的记忆 - 注意力层注入长期记忆，使得相同目标的轨迹嵌入更加稳定和可分辨，显著提高了模型的目标关联能力。实验结果显示，MeMOTR 在 HOTA 和 AssA 指标上分别超过了现有方法的 7.9％和 13.0％，并且在 MOT17 上的关联性能也优于其他基于 Transformer 的方法，同时在 BDD100K 上也具有很好的泛化性能。

    Jul, 2023