本文提出了一个新的、通用的指代多目标跟踪（RMOT）任务，其核心思想是利用语言表达作为语义线索来引导多目标跟踪的预测。作者构建了一个基于 KITTI 的可扩展表达基准 Refer-KITTI，并开发了一个基于变压器的 TransRMOT 架构来解决该任务，在线方式取得了令人瞩目的检测性能，并超越了其他对手。

Mar, 2023

通过在大型视频数据集上进行大规模预训练，我们提出了一种全新的多模态大型语言模型（MLLM），名为 Elysium，该模型可以在视频中进行物体级任务，而无需任何其他插件或专家模型。

Mar, 2024

通过插入可插拔的知识统一网络 iKUN，本文介绍了一种基于输入文本描述的多目标跟踪方法，其中使用知识统一模块 KUM 来自适应性地提取视觉特征，并引入了神经卡尔曼滤波器 NKF 来动态调整过程噪声和观测噪声，同时提出了测试时相似性校准方法来改进置信度分数，并通过扩展公共 DanceTrack 数据集，贡献了一个更具挑战性的数据集 Refer-Dance，从而加快了 RMOT 的发展。

Dec, 2023

通过音频和视频融合的双流视觉变换框架，本研究提出了 EchoTrack 模型，解决了自动驾驶中的 Auditory Referring Multi-Object Tracking 问题，并建立了一套大规模的 AR-MOT 基准测试集。

Feb, 2024

本研究提出了一种基于自然语言描述和多模式视觉数据的大规模动态场景的 3D 视觉定位任务的方法，并且通过利用图像的外观特征、点云中的位置和几何特征以及连续输入帧中的动态特征，匹配语言中的语义特征。我们提出了两个新的数据集，STRefer 和 LifeRefer，这些数据集对于野外 3D 视觉定位的研究具有重要意义，并且有着提升自动驾驶和服务机器人发展的巨大潜力。广泛的比较和消融研究证明，我们的方法在两个提出的数据集上实现了最先进的性能。

Apr, 2023

通过使用基于视频游戏引擎的人工注释技术，产生了包含 100 万张图像的高质量路景数据集，从而大幅提升了语义分割网络的训练效率。

Jul, 2018

本研究提出了一种新的 3D MOT 系统，通过整合来自 RGB 图像和 3D 点云的信息，融合了联合概率数据关联框架，实现了实时，最先进的跟踪性能，并发布了一个包括 2 百万个框和 3500 个一致的 2D + 3D 轨迹的大规模数据集，该数据集被命名为 JRDB，并在多个设置下进行了测试，从而成为了目前最先进的多对象跟踪解决方案之一。

Feb, 2020

本篇研究论文提出了一种基于学习的三维多目标跟踪方法，在公共数据集 nuScenes 上取得了近年来最好的性能表现，采用的关键技术包括神经消息传递网络、数据关联和轨迹稳定性的处理。

Apr, 2021

提出了一种基于多粒度观察（OMG）的新框架，用于通过自然语言描述在监控视频中查询受追踪车辆，并以多粒度对视觉表示、文本表示和目标函数进行优化，实验结果表明，该方法比以往所有方法的表现都好，获得了第 9 名的好成绩。

Apr, 2022

引入了 Semantic Multi-Object Tracking (SMOT) 的研究，旨在估计物体的轨迹并理解与轨迹相关的语义细节，包括实例描述、实例交互和整体视频描述，整合了 “where” 和 “what” 以进行跟踪。同时介绍了用于 SMOT 的一个大规模基准测试集 BenSMOT，提供了目标轨迹的注释以及自然语言的实例描述、实例交互和整体描述。此外还提出了专门为 SMOT 设计和端到端训练的新型跟踪器 SMOTer，并通过发布 BenSMOT 和 SMOTer 来推动跟踪领域朝着了解视频的新方向发展。

Mar, 2024