Transformer 从语言到视觉到 MOT 的发展：对基于 Transformer 的多目标跟踪的文献综述

Jun, 2024

Transformer 从语言到视觉到 MOT 的发展：对基于 Transformer 的多目标跟踪的文献综述

The Progression of Transformers from Language to Vision to MOT: A Literature Review on Multi-Object Tracking with Transformers

PDF

Abhi Kamboj

TL;DRtransformer 神经网络结构通过注意力机制实现自回归的序列到序列建模，在自然语言处理和计算机视觉等领域取得了重大突破。本文综述了在计算机视觉领域中应用 transformer 的主要进展，并针对多目标跟踪 (MOT) 进行讨论，指出 transformer 在最新的 MOT 研究中逐渐具备竞争力，但仍然落后于传统深度学习方法。

Abstract

The transformer neural network architecture allows for autoregressive sequence-to-sequence modeling through the use of attention layers. It was originally created with the application of machine translation but h

transformer neural network autoregressive sequence-to-sequence modeling attention layers computer vision multi-object tracking (mot)

发现论文，激发创造

非受限环境下的多人跟踪和再识别的 Transformer 网络

提出了一个综合的多目标跟踪方法 STMMOT，该方法结合了目标检测和身份链接，能够在长时间内维持目标身份链接，并利用具有注意力机制的鲁棒时空记忆模块和动态查询嵌入来预测目标状态，消除了后处理的需求。

Dec, 2023

用 Transformer 进行的多目标追踪的对比学习

通过引入实例级对比损失、修订的采样策略和轻量级分配方法，我们展示了如何将 DETR 转化为 MOT 模型，学习目标的外观并保留检测能力，其性能在具有挑战性的 BDD100K 数据集上超过了先前的最新技术水平 2.6 mMOTA，并在 MOT17 数据集上与现有的基于 transformer 的方法相媲美。

Nov, 2023

自动驾驶中视觉变形器研究综述：现状和未来发展方向

该论文综述探讨了视觉 Transformer 模型在自动驾驶中的应用，重点研究了自我注意力、多头注意力和编码器 - 解码器架构等基本概念，并比较了它们在目标检测、分割、行人检测、车道检测等应用中的架构优点和局限性，最后展望了视觉 Transformer 在自动驾驶中的未来研究方向。

Mar, 2024

视觉中的 Transformer：一项综述

本次研究对变压器模型在计算机视觉方面的应用进行了全面的回顾，包括自我关注、大规模预训练和双向编码等基础概念及其在图像分类、视频处理等多个领域的广泛应用。研究比较了不同技术在架构设计及实验价值方面的优缺点，并提出了未来的研究方向。

Jan, 2021

TransTrack：基于 Transformer 的多目标跟踪

本文提出了 TransTrack，该方法利用 Transformer 架构解决多目标跟踪问题，采用对象特征作为当前帧的查询并引入一组学习对象查询以检测新对象，通过实现单次检测和跟踪建立了新的联合检测和跟踪范例，在 MOT17 和 MOT20 基准测试中达到了 74.5％和 64.5％的 MOTA，是一种优秀的多目标跟踪方法。

Dec, 2020

TrackFormer：基于 Transformer 的多目标跟踪

TrackFormer 是基于编码器 - 解码器变压器架构的端到端可训练的多目标追踪方法，利用注意力实现帧到帧的数据关联，以查询的形式自回归地跟踪现有轨迹并初始化新轨迹，能够实现目前最先进的多目标跟踪的性能。

Jan, 2021

MotionTrack: 基于 Transformer 的端到端多目标追踪与 LiDAR - 摄像头融合

提出了一种基于 Transformer 的多模态传感器输入的端到端多目标跟踪算法（MotionTrack），它由基于 Transformer 的数据关联（DA）模块和基于 Transformer 的查询增强模块组成，同时实现了多目标检测（MOD）。MotionTrack 及其变体在 nuScenes 数据集上获得更好的结果（AMOTA 得分为 0.55），与 AB3DMOT、CenterTrack 和概率 3D 卡尔曼滤波器等经典基线模型相比有着更好的表现。

Jun, 2023

基于 Transformer 的二维物体检测综述

本篇论文详细回顾了二十一篇相关的论文，讨论了最近在 DETR 中基于 Transformer 方法的研究进展，并涵盖了最新的改进，包括骨干网络改造，查询设计和注意力优化。同时，我们还比较了所有检测变压器的性能和网络设计。

Jun, 2023

关于视觉 Transformer 的调查

本文回顾了将 Transformer 应用于计算机视觉任务中的视觉 Transformer 模型，并分为不同任务类别，分析它们的优点和缺点，同时也介绍了将 Transformer 应用到实际设备应用的有效方法。最后，本文还探讨了计算机视觉中的自注意机制以及视觉 Transformer 面临的挑战及进一步研究方向。

Dec, 2020

视频多目标跟踪的深度学习研究

本文综述了利用深度学习模型解决单摄像头视频的多目标跟踪任务的研究，总结了该任务中的四个主要步骤，并深入探讨了如何在每个步骤中利用深度学习。此外，还提供了对三个 MOTChallenge 数据集中所呈现的工作的完整实验比较，并确定了最优解方法之间的若干相似之处，提出了一些可能的未来研究方向。

Jul, 2019