May, 2024

多模态物体跟踪的卓越性能

PDF
TL;DR多模态目标跟踪是一个新兴领域，它利用来自各种模态的数据（比如视觉、深度、红外热像、事件、语言和音频）来估计视频序列中任意物体的状态。本研究综述了现有多模态目标跟踪任务，并分析总结了各个任务的常用数据集和主流的跟踪算法，重点关注了它们基于自监督学习、提示学习、知识蒸馏、生成模型和状态空间模型等技术范式。同时，在此网址上维护了一个持续更新的多模态目标跟踪论文清单。
multi-modal object trackingmodalitiestracking algorithmsdatasetstechnical paradigms
发现论文，激发创造
  • 鲁棒性多模态多目标追踪

    该研究提出了一个通用的、传感器无关的多模态多目标跟踪框架，通过在数据关联过程中编码点云的深度表示，使每种模态能够独立执行其职能以保证其可靠性，并通过新型的多模态融合模块进一步提高其精度。该框架在 KITTI 基准上的表现达到了最新水平。

    Sep, 2019

  • 从模态有效性的角度重新审视 RGBT 跟踪基准：一个新的基准、问题和方法

    为解决多模态保证（MMW）情景中 RGBT 跟踪失败的问题，本文提出了一个新的基准数据集 MV-RGBT，该数据集针对 MMW 情景进行了捕捉，并提出了一种名为 MoETrack 的基线融合策略，该方法在 MV-RGBT 和其他标准基准上取得了新的最佳结果。

    Apr, 2024

  • 多目标引用跟踪

    本文提出了一个新的、通用的指代多目标跟踪（RMOT）任务，其核心思想是利用语言表达作为语义线索来引导多目标跟踪的预测。作者构建了一个基于 KITTI 的可扩展表达基准 Refer-KITTI，并开发了一个基于变压器的 TransRMOT 架构来解决该任务，在线方式取得了令人瞩目的检测性能，并超越了其他对手。

    Mar, 2023

  • MOPT: 多目标全景追踪

    本文介绍了一种新的感知任务，名为多物体全景追踪，它将传统上分离的语义分割、实例分割和多物体追踪任务综合在一起，并提出了基于软全景追踪质量度量的评估方法。本文还提出了一种新的全景追踪网络 PanopticTrackNet，用于同时学习所有子任务。实验结果表明，此方法在基于视觉和 LiDAR 的多物体追踪上均表现优异。

    Apr, 2020

  • 多粒度语言指导的多目标追踪

    通过结合多模态的语言驱动特征和视觉特征，在多目标跟踪中提出了一种新的 LG-MOT 框架，它在不同层次上（场景和实例级）明确利用语言信息并且与标准视觉特征结合以获得判别性表示。通过在现有的 MOT 数据集中注释场景和实例级的语言描述，将语言信息编码到高维度嵌入中，并在训练过程中用于引导视觉特征。在三个基准测试集 MOT17、DanceTrack 和 SportsMOT 上进行了广泛实验，结果显示提出的方法在性能上达到了最先进水平，并在舞蹈跟踪测试集上相对于仅使用视觉特征的基线方法具有绝对增益 2.2％。此外，所提出的 LG-MOT 表现出良好的跨领域泛化能力。

    Jun, 2024

  • 自主驾驶的概率三维多模态、多目标跟踪

    通过融合 2D 图像与 3D LiDAR 点云的特征，学习度量，以及在无匹配目标检测时初始化跟踪，提出了一种概率、多模态、多对象跟踪系统，实现了比现有技术更鲁棒、数据驱动的多对象跟踪。

    Dec, 2020

  • 基于分组洗牌的多尺度多通道注意力和多模态监督的 RGB-T 目标检测

    提出了一种非常简单的组合打乱多感受注意力（GSMA）模块，用于提取和结合多尺度 RGB 和热能特征，然后将提取的多模态特征直接集成到多级路径聚合网络中，显著改善了融合效果和效率，并通过多模态监督（MS）来充分监督 RGB-T 目标检测，实验证明该模型在保持竞争力的同时达到了最先进的准确性。

    May, 2024

  • OVTrack: 开放式词汇多目标跟踪

    本研究解决了传统多目标跟踪方法只针对少数预定义对象类型的固有限制，并提出了一种新的任务 Open-vocabulary MOT，进一步开发出一种数据效率优异的开放词汇跟踪器 OVTrack，通过知识蒸馏和数据幻觉策略有效提升图像分类和关联准确性，最终在大规模的 TAO 基准测试上取得了最新的最优效果。

    Apr, 2023

  • 基于多模态互相提示学习的 RGB-T 跟踪

    基于可见光和热红外图像融合的目标跟踪，称为 RGB-T 跟踪，在计算成本较低的情况下如何实现两种模态信息更全面的融合一直是研究人员探索的问题。最近，随着计算机视觉中即时学习的兴起，我们可以更好地将知识从视觉大模型转移到下游任务中。考虑到可见光和热红外模态之间的强互补性，我们提出了一种基于两种模态之间相互即时学习的跟踪架构。我们还设计了一个轻量级的即时学习器，在骨干网络的每一层中嵌入了二维注意机制，以低计算成本将信息从一种模态转移到另一种模态中。广泛的实验证明，我们提出的跟踪架构既有效又高效，在保持高运行速度的同时实现了最先进的性能。

    Aug, 2023

  • MotionTrack: 基于 Transformer 的端到端多目标追踪与 LiDAR - 摄像头融合

    提出了一种基于 Transformer 的多模态传感器输入的端到端多目标跟踪算法（MotionTrack），它由基于 Transformer 的数据关联（DA）模块和基于 Transformer 的查询增强模块组成，同时实现了多目标检测（MOD）。MotionTrack 及其变体在 nuScenes 数据集上获得更好的结果（AMOTA 得分为 0.55），与 AB3DMOT、CenterTrack 和概率 3D 卡尔曼滤波器等经典基线模型相比有着更好的表现。

    Jun, 2023