ECCVJul, 2022

3D Siamese Transformer 网络用于基于点云的单目标跟踪

PDF
TL;DR本文使用 Siamese Transformer 网络，结合点云的形态信息和深度信息，在 3D 单目标跟踪任务中实现了鲁棒的交叉相关学习，取得了与 KITTI、nuScenes 和 Waymo 数据集上最优的表现。
siamese networktransformer3d single object trackingcross correlationpoint clouds
发现论文，激发创造
  • 多相关等式变压器网络与稠密连接用于 3D 单物体跟踪

    稀疏 LiDAR 点云数据仍然存在挑战，因此本文提出了一种多相关 Siamese Transformer 网络，通过在每个阶段末尾基于稀疏支柱进行特征相关，以学习搜索区域的特征并保持模板的独立特征。该算法在 KITTI、nuScenes 和 Waymo 数据集上取得了有希望的性能，并提供了对每个组件有效性的消融实验研究。

    Dec, 2023

  • 基于 Transformer 的 3D 物体跟踪

    本文提出了一种基于 transformer 架构的特征融合网络，以解决 3D 目标跟踪中的关键问题。该网络利用自注意机制捕捉点云中不同区域之间的相互关系，并使用交叉注意力将目标提示信息融入特征中，从而提高相似度计算的效率。在 KITTI 数据集上的实验结果表明，该方法取得了最新的最佳表现。

    Oct, 2021

  • 使用 Transformer 的视觉跟踪

    本文介绍了一种基于 Transformer 编码器 - 解码器架构和强有力的注意机制的新型追踪器网络，通过自我关注模块和交叉注意力，提高了全局和丰富的背景信息获取，支持超越局部特征的追踪效果，在多个基准测试上表现出优异的性能。

    May, 2021

  • 3D 单目标跟踪的相关金字塔网络

    本文提出了一种新颖的相关金字塔网络（CorpNet），采用统一的编码器和运动分解解码器，着重解决了如何从稀疏不完整的点云中学习目标感知表征的中心问题。经过实验证明，该方法在两个常用数据集上均取得了最先进的结果，并且具有实时性。

    May, 2023

  • 高性能 Transformer 追踪

    该论文提出了一种基于注意力机制的特征融合网络，可以有效地结合模板和搜索区域的特征，解决相关操作在设计高精度跟踪算法时可能遇到的局部最优问题。实验结果表明，该方法在七个流行数据集上取得了有前途的成果。

    Mar, 2022

  • Transformer 追踪

    本文提出了一种基于 Transformer 注意力机制的特征融合方法，并将其应用于跟踪任务中。实现了在六个有挑战性的数据集上取得了很好的跟踪结果。最终得出了一个名为 TransT 的跟踪器，运行在 GPU 上的大约 50fps。

    Mar, 2021

  • 面向点云上的三维单目标跟踪的类别统一化

    通过引入统一模型从不同角度研究 3D 对象跟踪，本文针对点云对象的属性差异设计了 AdaFormer 网络，并在学习目标中加入了已知模板目标的大小和形状先验知识，提高了模型的推广能力。结果表明，统一模型在 KITTI 数据集上相对于特定类别模型在 Siamese 和 motion 范例上分别提高了 12% 和 3% 的性能。

    Jan, 2024

  • 基于点云配准驱动的三维孪生物体追踪强鲁棒特征匹配

    本文提出一种新的点云注册驱动的 Siamese 跟踪框架，包括追踪特定的非本地注册模块和注册辅助的 Sinkhorn 模板特征聚合模块，以实现在精确定位物体的同时提高跟踪鲁棒性。

    Sep, 2022

  • EasyTrack：高效紧凑的单流 3D 点云跟踪器

    通过 EasyTrack 提出一种新的一次性转换器 3D SOT 范例，利用点云跟踪特征预训练模块、统一的 3D 跟踪特征学习和融合网络，以及在密集鸟瞰特征空间中构建的目标定位网络，显著提高了 KITTI、NuScenes 和 Waymo 的性能，并具有较低的参数和高帧率。

    Apr, 2024

  • 相关感知的深度跟踪

    我们提出了一种基于自注意力 / 交叉注意力的目标依赖特征网络，通过深度嵌入多层特征的交叉图像特征相关性，抑制了非目标特征，从而实现了实例变化的特征提取，在不需要额外的相关步骤的情况下可以直接用于预测目标位置，且可以灵活地在丰富的无配对图像上进行预训练，实现了较快的收敛速度和最先进的实时跟踪性能。

    Mar, 2022