CVPRApr, 2020

基于 LiDAR 的在线三维视频物体检测：图形消息传递和时空转换关注

PDF
TL;DR本文提出了一个端到端的在线三维视频物体检测器，该模型由空间特征编码组件和时空特征聚合组件组成。在空间特征编码组件中，提出了一种新的 Pillar Message Passing Network（PMPNet）模型，用于对离散点云帧进行编码。在时空特征聚合组件中，提出了一种注意力时空变换门控循环神经网络（AST-GRU），它通过注意力机制强调了前景物体并对动态物体进行了对齐。实验结果表明，该模型在大规模 nuScenes 基准测试中实现了最先进的性能。
lidar3d object detectionspatiotemporal informationpillar message passing networkattentive spatiotemporal transformer gru
发现论文，激发创造
  • 面向点云的三维视频目标检测的图神经网络和时空变换器注意力

    本文采用多帧点云视频中的时间信息来探测 3D 物体。研究者们提出了一种名为 GMPNet 的格网信息传递网络来编码短期时间信息，并提出了一个名为 AST-GRU 的基于注意力的时空变换 GRU 来进一步聚合长期帧。在 NuScenes 基准测试中，该方法表现优异，且不需要任何额外的手段。

    Jul, 2022

  • PTT：用于高效时序三维物体检测的点轨迹变换器

    提出了一种基于时间 LiDAR 的三维物体检测方法，利用点云和轨迹特征相结合的点轨迹变压器和长短期记忆，实现了对三维物体的高效检测。对大规模 Waymo 数据集进行了广泛实验，证明了该方法在性能上优于现有的方法。

    Dec, 2023

  • MGTANet：使用长短期运动引导时间注意力编码顺序 LiDAR 点以进行 3D 物体检测

    本文提出了一种新的三维物体检测结构，该结构可以编码由多个连续扫描获取的 LiDAR 点云序列，并利用时空上下文实现较大的性能提升。通过短期运动感知体素编码和长期运动指导俯视图特征增强，可以对点云序列进行编码处理，结果显示，与基线方法相比，该模型在性能上显示出明显优越性，在某些三维检测类别方面表现出了最先进的性能。

    Dec, 2022

  • 基于 LSTM 的 LiDAR 点云时序三维物体检测方法

    本文提出了一种基于稀疏 LSTM 的多帧 3D 对象检测算法，使用 U-Net 风格的稀疏 3D 卷积网络提取每帧 LiDAR 点云的特征，并将这些特征与上一帧的隐藏和记忆特征一起输入到 LSTM 模块中，以预测当前帧中的 3D 对象，同时传递给下一帧的隐藏和记忆特征。实验结果表明，我们的算法在使用更少的内存和每帧计算的情况下优于传统的逐帧方法 7.5％ [email protected] 和其他多帧方法 1.2％ 。据我们所知，这是在稀疏点云中首次使用 LSTM 进行 3D 对象检测的工作。

    Jul, 2020

  • 基于锚点的时空注意力 3D 卷积网络，用于动态 3D 点云序列

    本文提出了一种基于锚点的时空关注的 3D 卷积操作（ASTA3DConv）来处理动态 3D 点云序列，建立了 Anchor-based Spatio-Temporal Attention 3D 卷积神经网络 (ASTA3DCNNs) 进行分类和分割任务。在实验中，该方法在 MSRAction3D 和 Synthia 数据集上展现了出色的性能和有效性，并取得了动态 3D 点云序列作为输入的最新性能。

    Dec, 2020

  • LEF: 后期 - 早期时序融合在 LiDAR 3D 目标检测中的应用

    我们提出了一种基于时间 LiDAR 点云的迟到提早循环特征融合方案，用于 3D 物体检测。我们的主要动机是将物体感知的潜在嵌入融合到 3D 物体检测器的早期阶段。这种特征融合策略使模型能够更好地捕捉具有挑战性的物体的形状和姿态，相比直接从原始点学习。我们的方法以循环的方式进行迟到提早特征融合。这是通过在时间上校准和对齐的稀疏柱状令牌上施加基于窗口的注意力块来实现的。利用俯视图前景柱状分割，我们将模型需要融合到当前帧中的稀疏历史特征数量减少了 10 倍。我们还提出了一种随机长度的 FrameDrop 训练技术，它在推断时可以依据可变帧长度来改进性能而无需重新训练。我们在广泛采用的 Waymo Open Dataset 上评估了我们的方法，并证明在 3D 物体检测方面相对于基线模型有所改进，特别是对于挑战性的大物体类别。

    Sep, 2023

  • 用于干扰物过滤的时空双向跨帧记忆的点云单目标跟踪

    我们设计了一种创新的时空双向跨帧干扰滤波追踪器 STMD-Tracker，通过使用 4D 多帧时空图卷积骨干和双向跨帧内存过程，结合空间可靠高斯掩码和对象感知抽样策略，有效改善了 3D 单物体在 LIDAR 点云中的跟踪准确性，超过了当前最先进的方法。

    Mar, 2024

  • PillarTrack: 基于柱的 Transformer 网络在点云上的单目标追踪重设计

    我们提出了一种基于 pillar 的 3D 单物体跟踪框架 PillarTrack，通过将稀疏的点云转化为稠密的 pillar 来保留本地和全局几何特征，并引入了一种金字塔型编码 pillar 特征编码器（PE-PFE）设计以提高每个 pillar 的特征表示，并从模态差异的角度介绍了一种高效的基于 Transformer 的骨干网络。通过在 KITTI 和 nuScenes 数据集上进行广泛实验，我们的方法表现卓越，并实现了实时跟踪速度。我们希望我们的工作能够鼓励社区重新思考现有的 3D 单物体跟踪器设计。

    Apr, 2024

  • 自动驾驶中基于 3D 激光雷达的视频物体检测的时空通道变换器

    本文提出了一种名为 Temporal-Channel Transformer 的新型转换器，用于从 Lidar 数据中模拟时空域和通道域关系以进行视频物体检测，并以网格体素为基础在 nuScenes 基准测试中取得最先进的性能。

    Nov, 2020

  • 空间 - 时间增强变压器：用于多帧三维目标检测

    STEMD 是一种基于 DETR 的新型端到端框架，用于实现多帧 3D 物体检测，其有效地捕获了特征和相应级别的时空依赖性，并引入了空间 - 时间图注意力网络，以解决对象之间的空间交互作用和复杂的时间依赖性问题，控制冗余检测结果。

    Jul, 2023