本文提出了一种新的基于自然语言描述的目标跟踪方法，通过建立一个自然语言驱动的跟踪器的基准测试数据集，并提出了两个新的挑战来促进相关研究，旨在提高跟踪性能的灵活性、鲁棒性和准确性。

Mar, 2021

本文提出了一个新的、通用的指代多目标跟踪（RMOT）任务，其核心思想是利用语言表达作为语义线索来引导多目标跟踪的预测。作者构建了一个基于 KITTI 的可扩展表达基准 Refer-KITTI，并开发了一个基于变压器的 TransRMOT 架构来解决该任务，在线方式取得了令人瞩目的检测性能，并超越了其他对手。

Mar, 2023

该研究论文介绍了一种名为 TrackGPT 的追踪器，它采用来自大型视觉语言模型（LVLM）的知识和推理能力进行复杂的基于推理的目标追踪，通过提供隐式的追踪指令实现自动追踪，其在指示追踪基准测试中表现出竞争性的性能。

Dec, 2023

该研究提出一种利用自然语言描述的深度追踪器，通过使用 LSTM 跟踪器预测目标的更新，可以以每秒超过 30 帧的速度处理具有模糊语言注释的目标，展示出色的性能。

Jul, 2019

该论文提出了一种基于 Transformer 编码器 - 解码器的视觉 grounding 方法，通过在不损伤位置定位能力的前提下，在文本描述的指导下学习语义鉴别的视觉特征，具有强大的文本 - 视觉语境语义捕捉能力。实验结果表明，在保持快速推理速度的同时，该方法在五个基准上优于现有的提案 - free 方法。

May, 2021

通过引入自然语言表示来提高多目标跟踪模型的域泛化能力，本文提出了两个模块（视觉上下文提示和视觉 - 语言混合），用于生成本征于不同跟踪场景的实例级伪文字描述，并通过在 MOT17 上训练和在 MOT20 上验证，观察到该方法显著提高了基于查询的跟踪器的泛化性能。

Dec, 2022

本研究解决了传统多目标跟踪方法只针对少数预定义对象类型的固有限制，并提出了一种新的任务 Open-vocabulary MOT，进一步开发出一种数据效率优异的开放词汇跟踪器 OVTrack，通过知识蒸馏和数据幻觉策略有效提升图像分类和关联准确性，最终在大规模的 TAO 基准测试上取得了最新的最优效果。

Apr, 2023

本文介绍了一种基于对象描述的联合学习视觉和语言以深入了解对象的方法，并提出了两个新的架构来解决对象字幕和基于自然语言的对象检索单元。研究表明，使用混合的端到端 CNN-LSTM 网络可以有效地解决两个问题，并在推理时间非常快的同时，提供了对对象的详细理解。

Mar, 2018

本文提出了 TransTrack，该方法利用 Transformer 架构解决多目标跟踪问题，采用对象特征作为当前帧的查询并引入一组学习对象查询以检测新对象，通过实现单次检测和跟踪建立了新的联合检测和跟踪范例，在 MOT17 和 MOT20 基准测试中达到了 74.5％和 64.5％的 MOTA，是一种优秀的多目标跟踪方法。

Dec, 2020

本文提出了一个视频字幕生成系统，包括一种新颖的基于对象关系图的编码器和一种有效的训练策略，其中使用了教师推荐学习方法和外部语言模型来解决长尾问题，并在多个基准测试中取得最好的性能，实验证明我们的系统是有效的。

Feb, 2020