基于 Transformer 的多目标平滑算法

Dec, 2023

Transformer-Based Multi-Object Smoothing with Decoupled Data Association and Smoothing

Juliano Pinto, Georg Hess, Yuxuan Xia, Henk Wymeersch, Lennart Svensson

TL;DR多目标跟踪是估计一定时间窗口内未知数量对象的状态轨迹的任务。本文提出了一种针对此场景的新型深度学习体系结构，将数据关联任务与平滑任务解耦，比较了提出的平滑器与传统贝叶斯跟踪器及深度学习跟踪器在不同任务中的性能。

Abstract

multi-object tracking (MOT) is the task of estimating the state trajectories of an unknown and time-varying number of objects over a certain time window. Several algorithms have been proposed to tackle the multi-

multi-object tracking state trajectories deep learning data association bayesian trackers

发现论文，激发创造

SoDA: 基于软数据关联的多目标跟踪

提出一种应用注意力度量编码来解决自动驾驶场景下多目标跟踪问题的方法，此方法通过软性数据关联来聚合所有物体检测的信息，从而使得模型能够在数据驱动的方式下推理出目标物体的遮挡情况并进行跟踪，实验结果表明该方法在规模较大的数据集上优于现有的视觉多目标跟踪技术。

Aug, 2020

MotionTrack: 基于 Transformer 的端到端多目标追踪与 LiDAR - 摄像头融合

提出了一种基于 Transformer 的多模态传感器输入的端到端多目标跟踪算法（MotionTrack），它由基于 Transformer 的数据关联（DA）模块和基于 Transformer 的查询增强模块组成，同时实现了多目标检测（MOD）。MotionTrack 及其变体在 nuScenes 数据集上获得更好的结果（AMOTA 得分为 0.55），与 AB3DMOT、CenterTrack 和概率 3D 卡尔曼滤波器等经典基线模型相比有着更好的表现。

Jun, 2023

DiffusionTrack: 多目标跟踪的扩散模型

提出了一种简单但健壮的框架，将物体检测和关联作为从配对噪声框到配对真实框的一致去噪扩散过程来联合建模，通过新颖的渐进去噪扩散策略大幅提升了跟踪器的效果，在推理中，模型通过灵活的一步或多步去噪扩散过程，将一组随机生成的配对框优化为检测和跟踪结果，大范围实验证明了该方法在多个 MOT 基准测试上与当前最先进的方法相当。

Aug, 2023

ReIDTrack：无运动的多对象追踪与分割

基于 CBNetV2 和 Swin-B 的检测模型以及 MoCo-v2 的自监督外观模型，我们探索了一种新的 SOTA 方向，通过去除运动信息和 IoU 映射，取得了在 CVPR2023 WAD 研讨会的 MOTS 轨迹上的第一名以及 MOT 轨迹上的第二名的简单有效方法。

Aug, 2023

3DMOTFormer：在线三维多目标跟踪的图形转换器

基于 Transformer 架构构建的学习几何 3D MOT 框架 3DMOTFormer，在进行跟踪检测双向图的基础上，通过边分类进行数据关联，并提出了一种新颖的在线训练策略，通过自回归和递归前向传播以及序列化批量优化来减少训练和推断之间的分布不匹配。

Aug, 2023

通过动画跟踪：多物体注视跟踪的无监督学习

提出了一种称为 “Tracking-by-Animation” 的跟踪框架，通过利用可微分的神经模型对多个对象进行跟踪，并在重构帧中动画化这些对象，从而实现了无需标记数据的端到端 MOT 学习。同时进一步提出了优化数据关联的 “Reprioritized Attentive Tracking” 模型。

Sep, 2018

MapTrack：在地图中的跟踪

在本文中，我们提出了一种名为 MapTrack 的方法，利用概率图、预测图和协方差自适应卡尔曼滤波器的三个轻量级插件算法，通过增强经典跟踪器 DeepSORT 在拥挤和遮挡场景中的鲁棒性，实现在常用的多目标跟踪基准集（如 MOTS17 和 MOT20）上的最先进效果。

Feb, 2024

视频多目标跟踪的深度学习研究

本文综述了利用深度学习模型解决单摄像头视频的多目标跟踪任务的研究，总结了该任务中的四个主要步骤，并深入探讨了如何在每个步骤中利用深度学习。此外，还提供了对三个 MOTChallenge 数据集中所呈现的工作的完整实验比较，并确定了最优解方法之间的若干相似之处，提出了一些可能的未来研究方向。

Jul, 2019

非受限环境下的多人跟踪和再识别的 Transformer 网络

提出了一个综合的多目标跟踪方法 STMMOT，该方法结合了目标检测和身份链接，能够在长时间内维持目标身份链接，并利用具有注意力机制的鲁棒时空记忆模块和动态查询嵌入来预测目标状态，消除了后处理的需求。

Dec, 2023

去噪多目标追踪：面向严重遮挡的方向

本研究分析了传统的卷积神经网络方法和基于 Transformer 的方法在处理遮挡时的局限性，并提出了一种用于多目标跟踪的端到端可训练的去噪 Transformer 模型（DNMOT），通过在训练过程中显式地模拟遮挡情况来解决遮挡带来的挑战，实现了噪声去除的学习过程，从而使得模型在拥挤场景下表现出强大的鲁棒性和良好的性能。此外，我们提出了一种级联遮罩策略，以更好地协调解码器中不同类型查询之间的交互，以防止在拥挤场景下相邻轨迹之间的相互抑制，而且该方法在推理中不需要额外的匹配策略和运动状态估计模块。我们在 MOT17、MOT20 和 DanceTrack 数据集上进行了大量实验证明，我们的方法在性能上明显优于之前的最先进方法。

Sep, 2023