OVTrack: 开放式词汇多目标跟踪

CVPRApr, 2023

OVTrack: Open-Vocabulary Multiple Object Tracking

Siyuan Li, Tobias Fischer, Lei Ke, Henghui Ding, Martin Danelljan...

TL;DR本研究解决了传统多目标跟踪方法只针对少数预定义对象类型的固有限制，并提出了一种新的任务 Open-vocabulary MOT，进一步开发出一种数据效率优异的开放词汇跟踪器 OVTrack，通过知识蒸馏和数据幻觉策略有效提升图像分类和关联准确性，最终在大规模的 TAO 基准测试上取得了最新的最优效果。

Abstract

The ability to recognize, localize and track dynamic objects in a scene is fundamental to many real-world applications, such as self-driving and robotic systems. Yet, traditional multiple object tracking (MOT) benchmarks rely only on a few object categories that hardly represent the mu

multiple object tracking open-vocabulary mot ovtrack data hallucination tao benchmark

发现论文，激发创造

使用大型预训练模型进行零样本开放词汇跟踪

通过重复用大规模预训练模型进行检测和分割，本研究提出了一种在 2D 视频中追踪和分割任何类别对象的模型，并在多个评估数据集上取得了强大的性能表现。

Oct, 2023

开放词汇物体检测的多模式分类器

本文旨在进行无遮挡多类目标检测的研究，探索使用语言描述、图像样例或两者的组合来指定新颖类别的三种方式，研究者通过采用大型语言模型来生成信息化的语言描述，基于图像样例提供了视觉聚合器，并提出了将语言描述和图像样例信息融合的多模态分类器方法。实验表明，本文提出的基于文本的分类器优于之前 OVOD 方案，基于视觉的分类器表现与文本分类器表现相当，而使用多模态分类器比任一模态更好。

Jun, 2023

LaMOT: 语言引导的多目标跟踪

本文介绍了一种统一的任务框架 Language-Guided MOT 和相关的大规模基准 LaMOT，旨在推动 Vision-Language MOT 领域的研究进展，并提出了一种简单而有效的追踪器 LaMOTer。

Jun, 2024

多粒度语言指导的多目标追踪

通过结合多模态的语言驱动特征和视觉特征，在多目标跟踪中提出了一种新的 LG-MOT 框架，它在不同层次上（场景和实例级）明确利用语言信息并且与标准视觉特征结合以获得判别性表示。通过在现有的 MOT 数据集中注释场景和实例级的语言描述，将语言信息编码到高维度嵌入中，并在训练过程中用于引导视觉特征。在三个基准测试集 MOT17、DanceTrack 和 SportsMOT 上进行了广泛实验，结果显示提出的方法在性能上达到了最先进水平，并在舞蹈跟踪测试集上相对于仅使用视觉特征的基线方法具有绝对增益 2.2％。此外，所提出的 LG-MOT 表现出良好的跨领域泛化能力。

Jun, 2024

无盲区：使用相机和激光雷达进行全方位多目标自动驾驶跟踪

本文提出了一种多模态传感器模块化框架，用于实现在线多目标追踪，并对该方法进行了实验证明其在真实场景下对自主驾驶领域有重要的应用。

Feb, 2018

视频多目标跟踪的深度学习研究

本文综述了利用深度学习模型解决单摄像头视频的多目标跟踪任务的研究，总结了该任务中的四个主要步骤，并深入探讨了如何在每个步骤中利用深度学习。此外，还提供了对三个 MOTChallenge 数据集中所呈现的工作的完整实验比较，并确定了最优解方法之间的若干相似之处，提出了一些可能的未来研究方向。

Jul, 2019

UTOPIA: 通过跨域适应实现无限制目标跟踪

本文提出了一种跨领域 MOT 自适应方法，以先前的数据集为基础，并通过自我学习和更新来模拟新数据的获取过程，采用自监督学习的策略，实验结果表明在多项挑战性设置中，相比完全监督、无监督和自监督的最新方法，该方法在跟踪度量 MOTA 和 IDF1 上具有卓越表现。

Jun, 2023

增强的物体检测：2024 年 V3Det 挑战赛上关于广泛词汇物体检测轨道的研究

我们在 V3Det 数据集上对监督式大规模词汇视觉检测任务进行了研究，通过调整网络结构、改变损失函数和设计训练策略等一系列改进，我们的模型在 V3Det Challenge 2024 的大规模目标检测 (Supervised) 任务和 Open Vocabulary Object Detection (OVD) 任务中取得了出色的排名。

Jun, 2024

多目标引用跟踪

本文提出了一个新的、通用的指代多目标跟踪（RMOT）任务，其核心思想是利用语言表达作为语义线索来引导多目标跟踪的预测。作者构建了一个基于 KITTI 的可扩展表达基准 Refer-KITTI，并开发了一个基于变压器的 TransRMOT 架构来解决该任务，在线方式取得了令人瞩目的检测性能，并超越了其他对手。

Mar, 2023

用于通用多目标跟踪的孪生 DETR

本文针对 Generic MOT 提出了一种简单而有效的方法 Siamese-DETR，通过基于给定模板图像设计多尺度的对象查询，引入动态匹配训练策略，并通过在前一帧中添加跟踪框作为额外的查询框，简化了在线跟踪流程，将复杂的数据关联替换为更简单的非极大值抑制方法。广泛的实验证明，Siamese-DETR 在 GMOT-40 数据集上远远超过现有的 MOT 方法。

Oct, 2023