Dec, 2020

TransTrack：基于 Transformer 的多目标跟踪

PDF
TL;DR本文提出了 TransTrack，该方法利用 Transformer 架构解决多目标跟踪问题，采用对象特征作为当前帧的查询并引入一组学习对象查询以检测新对象，通过实现单次检测和跟踪建立了新的联合检测和跟踪范例，在 MOT17 和 MOT20 基准测试中达到了 74.5％和 64.5％的 MOTA，是一种优秀的多目标跟踪方法。
transtrackmultiple object trackingtransformer architectureobject detectionobject association
发现论文，激发创造
  • TrackFormer：基于 Transformer 的多目标跟踪

    TrackFormer 是基于编码器 - 解码器变压器架构的端到端可训练的多目标追踪方法，利用注意力实现帧到帧的数据关联，以查询的形式自回归地跟踪现有轨迹并初始化新轨迹，能够实现目前最先进的多目标跟踪的性能。

    Jan, 2021

  • MOTR: 使用 Transformer 进行端到端的多目标追踪

    本文介绍了一种名为 MOTR 的方法，它使用 track query 来建模整个视频中的跟踪实例，并引入了一种新的时域关系建模方法。实验结果表明，MOTR 在 HOTA 指标上比现有技术 ByteTrack 提高了 6.5%，在 MOT17 测试中，MOTR 的关联性能也胜过了 TrackFormer 和 TransTrack。

    May, 2021

  • 全球跟踪变压器

    本论文提出了一种新型基于 Transformer 的架构，用于全局多目标跟踪，通过对各帧图像上的物体特征进行编码，通过路径查询将其分组成轨迹，与目标检测器联合训练，可以实现对任意对象的跟踪，并在 MOT17 基准测试中实现了 75.3 的 MOTA 和 59.1 的 HOTA，超越了基于成对联想的基线，并在 TAO 数据集上得到显著的 7.7 跟踪 mAP 的提高。

    Mar, 2022

  • MotionTrack: 基于 Transformer 的端到端多目标追踪与 LiDAR - 摄像头融合

    提出了一种基于 Transformer 的多模态传感器输入的端到端多目标跟踪算法（MotionTrack），它由基于 Transformer 的数据关联（DA）模块和基于 Transformer 的查询增强模块组成，同时实现了多目标检测（MOD）。MotionTrack 及其变体在 nuScenes 数据集上获得更好的结果（AMOTA 得分为 0.55），与 AB3DMOT、CenterTrack 和概率 3D 卡尔曼滤波器等经典基线模型相比有着更好的表现。

    Jun, 2023

  • 统一 Transformer 物体跟踪器

    该论文介绍了一种名为 Unified Transformer Tracker (UTT) 的模型，通过该模型，研究者们可以在同一框架下解决不同场景下的目标跟踪问题。该模型可以同时进行单目标跟踪（Single Object Tracking）和多目标跟踪（Multiple Object Tracking），并通过端到端训练来优化模型的表现。

    Mar, 2022

  • TransMOT: 面向多目标跟踪的时空图形变换器

    本文提出一种名为 TransMOT 的解决方案，利用强大的图形转换器来有效建模目标的空间和时间互作用，通过将轨迹作为一组稀疏加权图来排列跟踪对象的轨迹，并构建基于图形的空间图形变换器编码器层、时间变换器编码器层和空间图形变换器解码器层。Proposed 方法在多个基准数据集上进行评估，包括 MOT15、MOT16、MOT17 和 MOT20，在所有数据集上都达到了最先进的性能。

    Apr, 2021

  • 非受限环境下的多人跟踪和再识别的 Transformer 网络

    提出了一个综合的多目标跟踪方法 STMMOT，该方法结合了目标检测和身份链接，能够在长时间内维持目标身份链接，并利用具有注意力机制的鲁棒时空记忆模块和动态查询嵌入来预测目标状态，消除了后处理的需求。

    Dec, 2023

  • 用 Transformer 进行的多目标追踪的对比学习

    通过引入实例级对比损失、修订的采样策略和轻量级分配方法，我们展示了如何将 DETR 转化为 MOT 模型，学习目标的外观并保留检测能力，其性能在具有挑战性的 BDD100K 数据集上超过了先前的最新技术水平 2.6 mMOTA，并在 MOT17 数据集上与现有的基于 transformer 的方法相媲美。

    Nov, 2023

  • 通过空间和时间变换器进行端到端多目标跟踪，超越两帧限制

    使用 Transformer 和时空嵌入的 MO3TR 方法，具有空间和时间注意机制，无需显式的数据聚类模块或任何启发式方法，成功解决了多物体追踪过程中的诸多挑战，表现方面同多个 popular MOT 图像和视频基准测试的现有最先进技术几乎相当或更好。

    Mar, 2021

  • MeMOTR: 长期记忆增强转换器用于多目标跟踪

    我们提出了 MeMOTR，一种用于多目标跟踪的长期记忆增强 Transformer 模型，通过使用自定义的记忆 - 注意力层注入长期记忆，使得相同目标的轨迹嵌入更加稳定和可分辨，显著提高了模型的目标关联能力。实验结果显示，MeMOTR 在 HOTA 和 AssA 指标上分别超过了现有方法的 7.9％和 13.0％，并且在 MOT17 上的关联性能也优于其他基于 Transformer 的方法，同时在 BDD100K 上也具有很好的泛化性能。

    Jul, 2023