Mar, 2024

超越MOT：语义多对象跟踪

HTML
PDF
TL;DR引入了Semantic Multi-Object Tracking (SMOT)的研究，旨在估计物体的轨迹并理解与轨迹相关的语义细节，包括实例描述、实例交互和整体视频描述，整合了“where”和“what”以进行跟踪。同时介绍了用于SMOT的一个大规模基准测试集BenSMOT，提供了目标轨迹的注释以及自然语言的实例描述、实例交互和整体描述。此外还提出了专门为SMOT设计和端到端训练的新型跟踪器SMOTer，并通过发布BenSMOT和SMOTer来推动跟踪领域朝着了解视频的新方向发展。
发现论文，激发创造
  • MOT20：拥挤场景下多目标追踪的基准测试

    本文介绍的MOT20benchmark建立在MOT15、MOT16和MOT17的基础上，扩展了8个新的数据序列，适用于评估在极度拥挤情景下处理多个物体跟踪的最先进方法。

    Mar, 2020

  • MOTChallenge：单目多目标跟踪基准测试

    MOTChallenge是一个针对单摄像头多目标跟踪设计的标准化比赛，包含三个版本，包括挑战性视频和精确的标签，同时提供了多目标跟踪器分类和广泛的错误分析。

    Oct, 2020

  • GMOT-40：通用多目标跟踪基准

    本文通过构建GMOT-40数据集、设计一系列GMOT基线算法及对GMOT-40的全面评估，旨在推动GMOT的研究，以及提供公共的基准测试、评估结果和基线算法。

    Nov, 2020

  • 自然语言驱动下更加灵活精准的目标跟踪：算法与基准评估

    本文提出了一种新的基于自然语言描述的目标跟踪方法，通过建立一个自然语言驱动的跟踪器的基准测试数据集，并提出了两个新的挑战来促进相关研究，旨在提高跟踪性能的灵活性、鲁棒性和准确性。

    Mar, 2021

  • 引入自然语言表达式将多目标跟踪推广到未见过的领域

    通过引入自然语言表示来提高多目标跟踪模型的域泛化能力，本文提出了两个模块（视觉上下文提示和视觉-语言混合），用于生成本征于不同跟踪场景的实例级伪文字描述，并通过在 MOT17 上训练和在 MOT20 上验证，观察到该方法显著提高了基于查询的跟踪器的泛化性能。

    Dec, 2022

  • 多目标引用跟踪

    本文提出了一个新的、通用的指代多目标跟踪（RMOT）任务，其核心思想是利用语言表达作为语义线索来引导多目标跟踪的预测。作者构建了一个基于KITTI的可扩展表达基准Refer-KITTI，并开发了一个基于变压器的TransRMOT架构来解决该任务，在线方式取得了令人瞩目的检测性能，并超越了其他对手。

    Mar, 2023

  • OVTrack: 开放式词汇多目标跟踪

    本研究解决了传统多目标跟踪方法只针对少数预定义对象类型的固有限制，并提出了一种新的任务Open-vocabulary MOT，进一步开发出一种数据效率优异的开放词汇跟踪器OVTrack，通过知识蒸馏和数据幻觉策略有效提升图像分类和关联准确性，最终在大规模的TAO基准测试上取得了最新的最优效果。

    Apr, 2023

  • 基于运动-外观成本的文本提示跟踪通用多对象的TP-GMOT

    本研究旨在解决通用多对象跟踪中的先验知识依赖性和类别限制的问题，提出了一个新的文本提示基础的开口词汇框架TP-GMOT。其创新之处在于引入了TP-OD和运动-外观成本SORT (MAC-SORT)两种新组件，显著提高了在未见目标类别下的跟踪能力。研究结果表明，该方法在多个数据集上具有较强的通用性和效果，可能推动多对象跟踪领域的发展。

    Sep, 2024

  • VOVTrack：探索视频中的开放词汇目标跟踪潜力

    本研究解决了开放词汇多目标跟踪（OVMOT）中的检测与跟踪不同类别物体的挑战。提出的VOVTrack方法通过整合与多目标跟踪相关的对象状态和视频中心训练，创新性地改进了目标定位和分类。实验结果表明，VOVTrack在开放词汇跟踪任务中优于现有方法，成为该领域的最先进解决方案。

    Oct, 2024

  • IP-MOT：跨域多目标跟踪的实例提示学习

    本研究解决了现有多目标跟踪方法在跨域通用性上的不足，提出了IP-MOT模型，该模型使用实例级伪文本描述进行跟踪，并引入查询平衡策略以提升模型的泛化能力。通过在多个主流基准上进行广泛实验，证明了该方法不仅在同域数据上性能竞争，还在跨域输入上显著提升了查询基础跟踪器的表现。

    Oct, 2024