AAAIDec, 2022

MGTANet：使用长短期运动引导时间注意力编码顺序 LiDAR 点以进行 3D 物体检测

PDF
TL;DR本文提出了一种新的三维物体检测结构，该结构可以编码由多个连续扫描获取的 LiDAR 点云序列，并利用时空上下文实现较大的性能提升。通过短期运动感知体素编码和长期运动指导俯视图特征增强，可以对点云序列进行编码处理，结果显示，与基线方法相比，该模型在性能上显示出明显优越性，在某些三维检测类别方面表现出了最先进的性能。
lidar3d object detectionpoint cloud sequencesshort-term motion-aware voxel encodinglong-term motion-guided bird's eye view feature enhancement
发现论文，激发创造
  • 面向点云的三维视频目标检测的图神经网络和时空变换器注意力

    本文采用多帧点云视频中的时间信息来探测 3D 物体。研究者们提出了一种名为 GMPNet 的格网信息传递网络来编码短期时间信息，并提出了一个名为 AST-GRU 的基于注意力的时空变换 GRU 来进一步聚合长期帧。在 NuScenes 基准测试中，该方法表现优异，且不需要任何额外的手段。

    Jul, 2022

  • 任意运动侦测器：从一系列 LiDAR 点云学习无类别场景动态

    本文提出了一种新的实时方法，基于三维点云序列，采用时间上下文聚合实现动态检测和运动参数估计，可适用于自动驾驶车辆在复杂城市环境下进行安全导航，不仅可以估计车辆或行人等常见道路参与者的运动，还可推广到其他没有在训练数据中出现的物体类别，并对不同的时间上下文聚合策略进行了深入的分析，提供了我们最先进模型与 KITTI 场景流数据集上现有解决方案的比较结果。

    Apr, 2020

  • 基于 LiDAR 的在线三维视频物体检测：图形消息传递和时空转换关注

    本文提出了一个端到端的在线三维视频物体检测器，该模型由空间特征编码组件和时空特征聚合组件组成。在空间特征编码组件中，提出了一种新的 Pillar Message Passing Network（PMPNet）模型，用于对离散点云帧进行编码。在时空特征聚合组件中，提出了一种注意力时空变换门控循环神经网络（AST-GRU），它通过注意力机制强调了前景物体并对动态物体进行了对齐。实验结果表明，该模型在大规模 nuScenes 基准测试中实现了最先进的性能。

    Apr, 2020

  • 基于 LSTM 的 LiDAR 点云时序三维物体检测方法

    本文提出了一种基于稀疏 LSTM 的多帧 3D 对象检测算法，使用 U-Net 风格的稀疏 3D 卷积网络提取每帧 LiDAR 点云的特征，并将这些特征与上一帧的隐藏和记忆特征一起输入到 LSTM 模块中，以预测当前帧中的 3D 对象，同时传递给下一帧的隐藏和记忆特征。实验结果表明，我们的算法在使用更少的内存和每帧计算的情况下优于传统的逐帧方法 7.5％ [email protected] 和其他多帧方法 1.2％ 。据我们所知，这是在稀疏点云中首次使用 LSTM 进行 3D 对象检测的工作。

    Jul, 2020

  • PTT：用于高效时序三维物体检测的点轨迹变换器

    提出了一种基于时间 LiDAR 的三维物体检测方法，利用点云和轨迹特征相结合的点轨迹变压器和长短期记忆，实现了对三维物体的高效检测。对大规模 Waymo 数据集进行了广泛实验，证明了该方法在性能上优于现有的方法。

    Dec, 2023

  • LEF: 后期 - 早期时序融合在 LiDAR 3D 目标检测中的应用

    我们提出了一种基于时间 LiDAR 点云的迟到提早循环特征融合方案，用于 3D 物体检测。我们的主要动机是将物体感知的潜在嵌入融合到 3D 物体检测器的早期阶段。这种特征融合策略使模型能够更好地捕捉具有挑战性的物体的形状和姿态，相比直接从原始点学习。我们的方法以循环的方式进行迟到提早特征融合。这是通过在时间上校准和对齐的稀疏柱状令牌上施加基于窗口的注意力块来实现的。利用俯视图前景柱状分割，我们将模型需要融合到当前帧中的稀疏历史特征数量减少了 10 倍。我们还提出了一种随机长度的 FrameDrop 训练技术，它在推断时可以依据可变帧长度来改进性能而无需重新训练。我们在广泛采用的 Waymo Open Dataset 上评估了我们的方法，并证明在 3D 物体检测方面相对于基线模型有所改进，特别是对于挑战性的大物体类别。

    Sep, 2023

  • 利用激光雷达点云的端到端三维物体检测

    无人驾驶车辆中的目标检测与跟踪任务主要依靠相机和 LiDAR 等多种传感器，本研究在使用 LiDAR 点云的新编码方式基础上，通过推断自动驾驶车辆附近不同类别物体的位置，实现了对场景中物体位置和方向的预测。

    Dec, 2023

  • MemorySeg：基于潜在记忆的在线 LiDAR 语义分割

    本文提出了一种利用过去帧信息改善当前帧预测的基于 LiDAR 点云时序的语义分割模型，通过使用记忆网络存储、更新和检索过去信息，并在点云邻域中惩罚预测变化，构建稀疏的 3D 潜在表示来克服遮挡等限制，实验证明该方法在 SemanticKITTI、nuScenes 和 PandaSet 数据集上比现有方法更有效。

    Nov, 2023

  • MotionBEV：基于鸟瞰图外观和运动特征的受关注的在线激光雷达移动物体分割

    本文提出了 MotionBEV，一种快速准确的 LiDAR 移动物体分割框架，能在面向鸟瞰图 (BEV) 域内结合外观和动态特征分割移动物体。通过将 3D LiDAR 扫描转换成 2D BEV 表现形式达到实时性能，平均推理时间为 23ms，具有最先进的性能和实际有效性。

    May, 2023

  • 基于 LiDAR 的循环 3D 语义分割及时间记忆对齐

    该论文讨论了自动驾驶汽车中的 3D 环境理解和解释问题，提出了一种基于递归分割架构的方法，该方法将时间序列信息与语义学信息相结合，充分利用了时间信息，提高了分割结果的准确性和效率。

    Mar, 2021