多粒度语言指导的多目标追踪

Jun, 2024

Multi-Granularity Language-Guided Multi-Object Tracking

Yuhao Li, Muzammal Naseer, Jiale Cao, Yu Zhu, Jinqiu Sun...

TL;DR通过结合多模态的语言驱动特征和视觉特征，在多目标跟踪中提出了一种新的 LG-MOT 框架，它在不同层次上（场景和实例级）明确利用语言信息并且与标准视觉特征结合以获得判别性表示。通过在现有的 MOT 数据集中注释场景和实例级的语言描述，将语言信息编码到高维度嵌入中，并在训练过程中用于引导视觉特征。在三个基准测试集 MOT17、DanceTrack 和 SportsMOT 上进行了广泛实验，结果显示提出的方法在性能上达到了最先进水平，并在舞蹈跟踪测试集上相对于仅使用视觉特征的基线方法具有绝对增益 2.2％。此外，所提出的 LG-MOT 表现出良好的跨领域泛化能力。

Abstract

Most existing multi-object tracking methods typically learn visual tracking features via maximizing dis-similarities of different instances and minimizing similarities of the same instance. While such a feature learning scheme achieves promising performance, learning discriminative fea

multi-object tracking visual features language-driven features environmental interference scene-and instance-level language descriptions

发现论文，激发创造

LaMOT: 语言引导的多目标跟踪

本文介绍了一种统一的任务框架 Language-Guided MOT 和相关的大规模基准 LaMOT，旨在推动 Vision-Language MOT 领域的研究进展，并提出了一种简单而有效的追踪器 LaMOTer。

Jun, 2024

多物体跟踪的单目和多目特征学习

本文提出了一种简单而有效的两阶段特征学习模型，以共同学习不同目标的单帧特征和多帧特征，从而在跟踪过程中实现鲁棒的数据关联。通过引入单帧特征学习模块和多帧特征学习模块，可以有效地关联相邻帧之间的目标和长时间丢失的目标。通过简单的数据关联逻辑，所提出的 VisualTracker 能够基于单帧特征和多帧特征进行鲁棒的多目标跟踪，实验结果表明该方法在 MOT17 和 MOT20 数据集上取得了显著的改进，并在 DanceTrack 数据集上达到了最先进的性能。

Nov, 2023

引入自然语言表达式将多目标跟踪推广到未见过的领域

通过引入自然语言表示来提高多目标跟踪模型的域泛化能力，本文提出了两个模块（视觉上下文提示和视觉 - 语言混合），用于生成本征于不同跟踪场景的实例级伪文字描述，并通过在 MOT17 上训练和在 MOT20 上验证，观察到该方法显著提高了基于查询的跟踪器的泛化性能。

Dec, 2022

将更多关注转移到视觉语言对象追踪上

我们设计了一种有效的视觉 - 语言表示方法，同时为追踪问题构建了一个大型带有语言注释的数据库。通过引入异构架构搜索和模态混合器等核心技术，以及对不同模态之间进行对比损失的引入，我们能够显著改善追踪问题的解决方案，并期望将更多注意力转向视觉 - 语言追踪，为未来的多样化多模态消息追踪开辟更多可能性。

Jul, 2023

GNN3DMOT: 三维多目标跟踪的图神经网络和多特征学习

该研究提出了两种技术来改进 3D 多目标跟踪中的判别特征学习，通过引入图神经网络实现对象间的特征互动，以及从二维和三维空间中同时提取外观和运动特征来减少混淆。最终实现了在 KITTI 和 nuScenes 3D MOT 测试中最先进的性能表现。

Jun, 2020

OVTrack: 开放式词汇多目标跟踪

本研究解决了传统多目标跟踪方法只针对少数预定义对象类型的固有限制，并提出了一种新的任务 Open-vocabulary MOT，进一步开发出一种数据效率优异的开放词汇跟踪器 OVTrack，通过知识蒸馏和数据幻觉策略有效提升图像分类和关联准确性，最终在大规模的 TAO 基准测试上取得了最新的最优效果。

Apr, 2023

鲁棒性多模态多目标追踪

该研究提出了一个通用的、传感器无关的多模态多目标跟踪框架，通过在数据关联过程中编码点云的深度表示，使每种模态能够独立执行其职能以保证其可靠性，并通过新型的多模态融合模块进一步提高其精度。该框架在 KITTI 基准上的表现达到了最新水平。

Sep, 2019

基于检测定位置信度的深度关联多目标跟踪框架：定位导向的跟踪

基于检测的跟踪方法中，我们提出了一种考虑检测框定位置信度的本文的 LG-Track 方法，通过综合考虑检测框的外观相似性和定位准确性，设计了一种有效的深度关联机制，在 MOT17 和 MOT20 数据集上的实验结果表明，我们的方法优于现有的跟踪方法。

Sep, 2023

统一视觉和视觉 - 语言跟踪的对比学习

单目标跟踪 UVLTrack 是一个统一的跟踪器，可同时处理边界框（BBOX）、自然语言（NL）和两者（NL+BBOX）的参考设置，并具有多种优势，包括模态一致的特征提取器、多模态对比性损失和模态自适应盒子头。在多个数据集上 extensive 实验结果显示，UVLTrack 在视觉跟踪、视觉语言跟踪和视觉定位方面具有有前景的性能。

Jan, 2024

DTLLM-VLT: 基于 LLM 的视觉语言跟踪多样化文本生成

Visual Language Tracking (VLT) leverages multi-granularity text descriptions to enhance single object tracking (SOT) by providing fine-grained evaluation of multi-modal trackers.

May, 2024