ICLRJan, 2024

面向点云上的三维单目标跟踪的类别统一化

PDF
TL;DR通过引入统一模型从不同角度研究 3D 对象跟踪，本文针对点云对象的属性差异设计了 AdaFormer 网络，并在学习目标中加入了已知模板目标的大小和形状先验知识，提高了模型的推广能力。结果表明，统一模型在 KITTI 数据集上相对于特定类别模型在 Siamese 和 motion 范例上分别提高了 12% 和 3% 的性能。
3d single object trackingunified modelsattribute variancespoint set representation learning networkcategory-unified models
发现论文，激发创造
  • 3D Siamese Transformer 网络用于基于点云的单目标跟踪

    本文使用 Siamese Transformer 网络，结合点云的形态信息和深度信息，在 3D 单目标跟踪任务中实现了鲁棒的交叉相关学习，取得了与 KITTI、nuScenes 和 Waymo 数据集上最优的表现。

    Jul, 2022

  • EasyTrack：高效紧凑的单流 3D 点云跟踪器

    通过 EasyTrack 提出一种新的一次性转换器 3D SOT 范例，利用点云跟踪特征预训练模块、统一的 3D 跟踪特征学习和融合网络，以及在密集鸟瞰特征空间中构建的目标定位网络，显著提高了 KITTI、NuScenes 和 Waymo 的性能，并具有较低的参数和高帧率。

    Apr, 2024

  • M3SOT：多帧、多场、多空间的 3D 单目标跟踪

    3D 单目标跟踪是计算机视觉的前沿任务之一，本研究提出了一种基于点云的全新 3D 单目标跟踪框架 M3SOT，通过多个输入帧、多个感受野和多个解决空间的协同作用，从点云中直接建模时间性、上下文信息和任务，以实现高效的目标跟踪应用。M3SOT 的实验表明，在 KITTI、nuScenes 和 Waymo Open Dataset 等基准上，其性能达到了最先进的水平，帧率达到了 38 帧每秒。

    Dec, 2023

  • 基于运动中心的三维点云单目标跟踪的范式：超越三维 Siamese 跟踪

    本文提出了一种基于运动中心范例的两阶段跟踪方法 M^2-Track 来解决传统外观匹配法在 LiDAR 点云跟踪中的不足，并在 KITTI、NuScenes 和 Waymo Open Dataset 三个数据集上表现出显著的精度提升（分别为 8％、17％和 22％），验证了该方法的有效性和前景。

    Mar, 2022

  • 统一 Transformer 物体跟踪器

    该论文介绍了一种名为 Unified Transformer Tracker (UTT) 的模型，通过该模型，研究者们可以在同一框架下解决不同场景下的目标跟踪问题。该模型可以同时进行单目标跟踪（Single Object Tracking）和多目标跟踪（Multiple Object Tracking），并通过端到端训练来优化模型的表现。

    Mar, 2022

  • 面向 3D MOT 的点云物体重新识别

    本文探讨了在 3D 多物体跟踪场景下，通过学习匹配预测的 3D 边界框裁剪后的（例如，使用点云）点云观测到的对象对应，相比使用图像，通过点云进行对象重新识别的性能表现如何，并提出了可供比较的对象重新识别网络方法，发现使用高感度传感器的效果优于使用稀疏传感器，能够成功地发现导致强运动跟踪器误差的物体

    May, 2023

  • 通过观察学习 3D 物体类别

    本篇论文旨在通过两种创新，基于从运动视角观察物体的方式，不需要手动注释，实现学习 3D 物体类别的传统方法。我们的系统基于两种创新：一种是具有鲁棒性的 Siamese 视点因子分解网络，可以对不同的视频进行对齐；另一种是可以从部分观测中提取对象的完整形状的 3D 形状完成网络。我们还演示了配置网络以执行概率预测和几何感知数据增强方案的好处。在公开可用的基准测试中，我们获得了最先进的结果。

    May, 2017

  • PillarTrack: 基于柱的 Transformer 网络在点云上的单目标追踪重设计

    我们提出了一种基于 pillar 的 3D 单物体跟踪框架 PillarTrack，通过将稀疏的点云转化为稠密的 pillar 来保留本地和全局几何特征，并引入了一种金字塔型编码 pillar 特征编码器（PE-PFE）设计以提高每个 pillar 的特征表示，并从模态差异的角度介绍了一种高效的基于 Transformer 的骨干网络。通过在 KITTI 和 nuScenes 数据集上进行广泛实验，我们的方法表现卓越，并实现了实时跟踪速度。我们希望我们的工作能够鼓励社区重新思考现有的 3D 单物体跟踪器设计。

    Apr, 2024

  • 物体追踪的大一统

    提出了一种统一方法 Unicorn，可以通过单个网络和相同的模型参数同时解决四个跟踪问题 (SOT、MOT、VOS 和 MOTS)，该方法采用相同的输入、主干、嵌入和头部，解决了现有跟踪器过度专业化特定任务的问题，并在包括 LaSOT、TrackingNet、MOT17、BDD100K、DAVIS16-17、MOTS20 和 BDD100K MOTS 在内的 8 个跟踪数据集上实现了与其特定任务的对应产品相当或更好的表现。

    Jul, 2022

  • PointCAT：点云的交叉注意力变换器

    本文提出了一种基于 Point Cross-Attention Transformer 的新型端到端网络结构，将多尺度特征通过两个不同的跨注意力变换器分支进行组合，并引入一种有效的形状分类模型，通过计算不同分支的单类标记与注意图来减少计算负担，实验表明该方法在形状分类，部分分割和语义分割任务中表现优异。

    Apr, 2023