AAAIDec, 2023

M3SOT：多帧、多场、多空间的 3D 单目标跟踪

PDF
TL;DR3D 单目标跟踪是计算机视觉的前沿任务之一，本研究提出了一种基于点云的全新 3D 单目标跟踪框架 M3SOT，通过多个输入帧、多个感受野和多个解决空间的协同作用，从点云中直接建模时间性、上下文信息和任务，以实现高效的目标跟踪应用。M3SOT 的实验表明，在 KITTI、nuScenes 和 Waymo Open Dataset 等基准上，其性能达到了最先进的水平，帧率达到了 38 帧每秒。
3d single object trackingm3sotpoint cloudstransformer-based networksot applications
发现论文，激发创造
  • SeqTrack3D：探索序列信息以提升稳健的 3D 点云跟踪

    SeqTrack3D 是一种基于 Sequence-to-Sequence 追踪范式的 3D 单目标追踪器，通过结合历史点云和边界框序列以确保鲁棒追踪，即使在稀疏点场景中也能利用历史边界框位置先验知识。在大规模数据集上的广泛实验表明，SeqTrack3D 实现了最新的最佳性能，NuScenes 上提高了 6.00％，Waymo 数据集提高了 14.13％。

    Feb, 2024

  • EasyTrack：高效紧凑的单流 3D 点云跟踪器

    通过 EasyTrack 提出一种新的一次性转换器 3D SOT 范例，利用点云跟踪特征预训练模块、统一的 3D 跟踪特征学习和融合网络，以及在密集鸟瞰特征空间中构建的目标定位网络，显著提高了 KITTI、NuScenes 和 Waymo 的性能，并具有较低的参数和高帧率。

    Apr, 2024

  • 基于运动中心的三维点云单目标跟踪的范式：超越三维 Siamese 跟踪

    本文提出了一种基于运动中心范例的两阶段跟踪方法 M^2-Track 来解决传统外观匹配法在 LiDAR 点云跟踪中的不足，并在 KITTI、NuScenes 和 Waymo Open Dataset 三个数据集上表现出显著的精度提升（分别为 8％、17％和 22％），验证了该方法的有效性和前景。

    Mar, 2022

  • 基于实例感知跟踪器和动态模型更新的在线多目标跟踪

    提出一种实例感知跟踪器，结合单个物体跟踪和卷积神经网络技术，用于多物体跟踪，提高跟踪准确性。在 MOT15 和 MOT16 基准测试上表现最佳。

    Feb, 2019

  • STTracker: 3D 单目标时空跟踪器

    本文提出了一种基于多帧点云输入的 3D 单物体跟踪方法，能够编码目标的时空信息、学习目标的运动信息，且采用稀疏注意力机制进行特征融合，在 uiti 和 NuScenes 数据集上均取得了具有竞争力的结果。

    Jun, 2023

  • 通过空间和时间变换器进行端到端多目标跟踪，超越两帧限制

    使用 Transformer 和时空嵌入的 MO3TR 方法，具有空间和时间注意机制，无需显式的数据聚类模块或任何启发式方法，成功解决了多物体追踪过程中的诸多挑战，表现方面同多个 popular MOT 图像和视频基准测试的现有最先进技术几乎相当或更好。

    Mar, 2021

  • 面向点云上的三维单目标跟踪的类别统一化

    通过引入统一模型从不同角度研究 3D 对象跟踪，本文针对点云对象的属性差异设计了 AdaFormer 网络，并在学习目标中加入了已知模板目标的大小和形状先验知识，提高了模型的推广能力。结果表明，统一模型在 KITTI 数据集上相对于特定类别模型在 Siamese 和 motion 范例上分别提高了 12% 和 3% 的性能。

    Jan, 2024

  • PillarTrack: 基于柱的 Transformer 网络在点云上的单目标追踪重设计

    我们提出了一种基于 pillar 的 3D 单物体跟踪框架 PillarTrack，通过将稀疏的点云转化为稠密的 pillar 来保留本地和全局几何特征，并引入了一种金字塔型编码 pillar 特征编码器（PE-PFE）设计以提高每个 pillar 的特征表示，并从模态差异的角度介绍了一种高效的基于 Transformer 的骨干网络。通过在 KITTI 和 nuScenes 数据集上进行广泛实验，我们的方法表现卓越，并实现了实时跟踪速度。我们希望我们的工作能够鼓励社区重新思考现有的 3D 单物体跟踪器设计。

    Apr, 2024

  • 基于点的分割，用于高效的在线多目标跟踪和分割

    本文提出了一种新的多对象跟踪方法，该方法利用无序的 2D 点云表示来生成实例嵌入，从随机选择的点中学习辨别实例嵌入，利用多种信息数据模态来丰富点特征，基于此建立了在线 MOTS 系统 PointTrack，在三个数据集上进行评估，并构建了一个更具挑战性的 MOTS 数据集 APOLLO MOTS。

    Jul, 2020

  • BEVTrack：鸟瞰视角中点云跟踪的简单基准

    在本文中，我们介绍了 BEVTrack，一个简单但强大的三维单目标跟踪基线框架。通过将连续的点云转换成常见的鸟瞰图表示，BEVTrack 通过简单的逐元素操作和卷积层，天然地编码了空间邻近性并熟练地捕捉运动线索，同时直接学习目标的运动分布，而无需假定固定的拉普拉斯或高斯。BEVTrack 在 KITTI 和 NuScenes 数据集上取得了最先进的性能，并且推理速度高达 122 帧 / 秒。

    Sep, 2023