Dec, 2023

PTT：用于高效时序三维物体检测的点轨迹变换器

PDF
TL;DR提出了一种基于时间 LiDAR 的三维物体检测方法，利用点云和轨迹特征相结合的点轨迹变压器和长短期记忆，实现了对三维物体的高效检测。对大规模 Waymo 数据集进行了广泛实验，证明了该方法在性能上优于现有的方法。
temporal lidar-based 3d object detectorsmemory bank utilizationpoint-trajectory transformerlong short-term memorywaymo dataset
发现论文，激发创造
  • 基于点云的三维单目标跟踪的点轨变换模块（Point-Track-Transformer）

    本篇研究文章提出基于点云的 3D 单目标跟踪的 Transformer 模块 Point-Track-Transformer（PTT），其包含特征嵌入，位置编码和自注意力模块等三个模块，将该模块应用到现有的 P2B 方法上构建出 PTT-Net，并在 KITTI 数据集上实验表明，该模型较现有方法提升了约 10％左右的性能，并实现了实时性能（~40FPS）。

    Aug, 2021

  • PTTR: 基于 Transformer 的三维点云目标追踪

    本文介绍了 Point Tracking Transformer (PTTR) 模型，该模型通过关系感知采样，点关系变换器和预测细化模块实现了点云单物体跟踪，并且在 Waymo 开放数据集上取得了卓越的准确性和效率。

    Dec, 2021

  • 基于 LiDAR 的在线三维视频物体检测：图形消息传递和时空转换关注

    本文提出了一个端到端的在线三维视频物体检测器，该模型由空间特征编码组件和时空特征聚合组件组成。在空间特征编码组件中，提出了一种新的 Pillar Message Passing Network（PMPNet）模型，用于对离散点云帧进行编码。在时空特征聚合组件中，提出了一种注意力时空变换门控循环神经网络（AST-GRU），它通过注意力机制强调了前景物体并对动态物体进行了对齐。实验结果表明，该模型在大规模 nuScenes 基准测试中实现了最先进的性能。

    Apr, 2020

  • 面向点云的三维视频目标检测的图神经网络和时空变换器注意力

    本文采用多帧点云视频中的时间信息来探测 3D 物体。研究者们提出了一种名为 GMPNet 的格网信息传递网络来编码短期时间信息，并提出了一个名为 AST-GRU 的基于注意力的时空变换 GRU 来进一步聚合长期帧。在 NuScenes 基准测试中，该方法表现优异，且不需要任何额外的手段。

    Jul, 2022

  • MGTANet：使用长短期运动引导时间注意力编码顺序 LiDAR 点以进行 3D 物体检测

    本文提出了一种新的三维物体检测结构，该结构可以编码由多个连续扫描获取的 LiDAR 点云序列，并利用时空上下文实现较大的性能提升。通过短期运动感知体素编码和长期运动指导俯视图特征增强，可以对点云序列进行编码处理，结果显示，与基线方法相比，该模型在性能上显示出明显优越性，在某些三维检测类别方面表现出了最先进的性能。

    Dec, 2022

  • CT3D++：基于关键点引导的通道注意力变换提升 3D 物体检测

    通过引入两个旨在准确高效地检测和定位三维空间中物体的 3D 物体检测框架，本文目的是解决当前 3D 检测的灵活性和可伸缩性不足的问题，并在 KITTI 数据集和大规模 Waymo 数据集上取得最先进的性能。

    Jun, 2024

  • PVT-SSD：使用点 - 体素变换的单级三维物体探测器

    本论文提供了一种新型的点块 Transformer 用于单级三维检测 (PVT-SSD), 其使用基于体素的稀疏卷积进行有效的特征编码，并从体素中以便宜的方式获取长距离上下文，同时从点中获取准确的位置并通过引入依赖于输入的查询初始化模块关联这两种不同的表示。进一步地，通过设计 Virtual Range Image 模块，该方法能够快速找到参考点的邻近点。该方法在几个自动驾驶基准测试中得到了验证，表明其有效性和高效性。

    May, 2023

  • MPPNet：使用代理点进行多帧特征交错的 3D 时间物体检测

    本文介绍了一种名为 MPPNet 的高性能 3D 检测框架，它采用三级多帧特征编码和交互体系结构，其中采用了代理点作为每个帧的一致对象表示，并在 Waymo Open 数据集上实现了较大优势的表现。

    May, 2022

  • PVTransformer：用于可扩展的三维物体检测的点对体素变换器

    信息瓶颈限制了 3D 物体检测的准确性和可扩展性，因此我们提出了基于 Transformer 的 PVTransformer 架构，通过用注意模块替换 PointNet 池化操作来改善点到体的聚合函数，从而在广泛使用的 Waymo Open Dataset 上实现了卓越的表现。

    May, 2024

  • TrajectoryFormer：基于预测轨迹假设的三维物体跟踪变换器

    TrajectoryFormer 是一种基于点云的 3D 多目标跟踪 (MOT) 框架，通过使用带有时间预测框和当前帧检测框的多个轨迹假设进行轨迹框关联，结合长期目标运动特征和短期目标外观特征来创建每个假设的特征嵌入，引入全局 - 局部交互模块来模拟所有假设的空间关系，从而达到 Waymo 3D MOT 基准测试中的最佳性能。

    Jun, 2023