Apr, 2024

PillarTrack: 基于柱的 Transformer 网络在点云上的单目标追踪重设计

PDF
TL;DR我们提出了一种基于 pillar 的 3D 单物体跟踪框架 PillarTrack，通过将稀疏的点云转化为稠密的 pillar 来保留本地和全局几何特征，并引入了一种金字塔型编码 pillar 特征编码器（PE-PFE）设计以提高每个 pillar 的特征表示，并从模态差异的角度介绍了一种高效的基于 Transformer 的骨干网络。通过在 KITTI 和 nuScenes 数据集上进行广泛实验，我们的方法表现卓越，并实现了实时跟踪速度。我们希望我们的工作能够鼓励社区重新思考现有的 3D 单物体跟踪器设计。
lidar-based 3d single object trackingpillartrackpoint cloudstransformer-based backbonekitti and nuscenes dataset
发现论文，激发创造
  • 基于点云的三维单目标跟踪的点轨变换模块（Point-Track-Transformer）

    本篇研究文章提出基于点云的 3D 单目标跟踪的 Transformer 模块 Point-Track-Transformer（PTT），其包含特征嵌入，位置编码和自注意力模块等三个模块，将该模块应用到现有的 P2B 方法上构建出 PTT-Net，并在 KITTI 数据集上实验表明，该模型较现有方法提升了约 10％左右的性能，并实现了实时性能（~40FPS）。

    Aug, 2021

  • EasyTrack：高效紧凑的单流 3D 点云跟踪器

    通过 EasyTrack 提出一种新的一次性转换器 3D SOT 范例，利用点云跟踪特征预训练模块、统一的 3D 跟踪特征学习和融合网络，以及在密集鸟瞰特征空间中构建的目标定位网络，显著提高了 KITTI、NuScenes 和 Waymo 的性能，并具有较低的参数和高帧率。

    Apr, 2024

  • PillarNeXt: 针对 LiDAR 点云的 3D 物体检测重新思考网络设计

    本文提出了基于 pillar 的算法模型在 LiDAR 3D 目标检测中的效果以及在架构和训练等方面的现代化设计，通过扩大感受野等方法取得了显著提升，在 Waymo 开放数据集和 nuScenes 数据集上实现了最优性能。

    May, 2023

  • PointPillars: 基于点云的目标检测快速编码器

    本篇论文介绍了一种新型编码器 PointPillars，该编码器可以将点云转为适合下游检测通道的格式，可应用于众多机器人应用中的物体检测，证明其在速度和准确性上都优于现有编码器，可优化无人驾驶等应用领域。

    Dec, 2018

  • PillarNet: 基于柱状物的实时高性能三维物体检测

    本文针对自动驾驶中实时、高性能三维物体检测的问题，提出了基于支柱的检测器 PillarNet。与现有的点云和三维卷积方法不同，PillarNet 仅使用 2D 卷积且具有高效灵活等特点，经过大规模数据集测试表明比现有方法有更好的效果和性能。

    May, 2022

  • 3D 单目标跟踪的相关金字塔网络

    本文提出了一种新颖的相关金字塔网络（CorpNet），采用统一的编码器和运动分解解码器，着重解决了如何从稀疏不完整的点云中学习目标感知表征的中心问题。经过实验证明，该方法在两个常用数据集上均取得了最先进的结果，并且具有实时性。

    May, 2023

  • 基于 LiDAR 的在线三维视频物体检测：图形消息传递和时空转换关注

    本文提出了一个端到端的在线三维视频物体检测器，该模型由空间特征编码组件和时空特征聚合组件组成。在空间特征编码组件中，提出了一种新的 Pillar Message Passing Network（PMPNet）模型，用于对离散点云帧进行编码。在时空特征聚合组件中，提出了一种注意力时空变换门控循环神经网络（AST-GRU），它通过注意力机制强调了前景物体并对动态物体进行了对齐。实验结果表明，该模型在大规模 nuScenes 基准测试中实现了最先进的性能。

    Apr, 2020

  • 基于柱状物的自动驾驶目标检测

    本篇论文提出了一种适用于自动驾驶的简单灵活的物体检测框架，该框架基于车载点云数据的稀疏性质，通过柱状体进行多视角特征学习来解决过去方法因锚点不平衡带来的问题，采用一种新的适配柱状体的映射模块实现更精准的检测，而且该算法还避免了过去方法中涉及超参数搜索的问题，较大地提高了 3D 物体检测的准确率。

    Jul, 2020

  • PillarGrid: 面向车载 - 路侧 LiDAR 的基于深度学习的协同感知 3D 物体检测

    提出了在自动驾驶中利用多雷达协同感知的 PillarGrid 方法，包括点云预处理、柱体分割、多传感器特征融合、基于 CNN 的物体检测等阶段，实验证明该方法能够显著提高 3D 物体检测的精度和范围。

    Mar, 2022

  • 基于 Transformer 的 3D 物体跟踪

    本文提出了一种基于 transformer 架构的特征融合网络，以解决 3D 目标跟踪中的关键问题。该网络利用自注意机制捕捉点云中不同区域之间的相互关系，并使用交叉注意力将目标提示信息融入特征中，从而提高相似度计算的效率。在 KITTI 数据集上的实验结果表明，该方法取得了最新的最佳表现。

    Oct, 2021