ECCVJul, 2020

基于 LSTM 的 LiDAR 点云时序三维物体检测方法

PDF
TL;DR本文提出了一种基于稀疏 LSTM 的多帧 3D 对象检测算法，使用 U-Net 风格的稀疏 3D 卷积网络提取每帧 LiDAR 点云的特征，并将这些特征与上一帧的隐藏和记忆特征一起输入到 LSTM 模块中，以预测当前帧中的 3D 对象，同时传递给下一帧的隐藏和记忆特征。实验结果表明，我们的算法在使用更少的内存和每帧计算的情况下优于传统的逐帧方法 7.5％ [email protected] 和其他多帧方法 1.2％ 。据我们所知，这是在稀疏点云中首次使用 LSTM 进行 3D 对象检测的工作。
3d lidar dataobject detectionsparse lstm-based multi-frame algorithmu-net style 3d sparse convolution networkwaymo open dataset
发现论文，激发创造
  • LEF: 后期 - 早期时序融合在 LiDAR 3D 目标检测中的应用

    我们提出了一种基于时间 LiDAR 点云的迟到提早循环特征融合方案，用于 3D 物体检测。我们的主要动机是将物体感知的潜在嵌入融合到 3D 物体检测器的早期阶段。这种特征融合策略使模型能够更好地捕捉具有挑战性的物体的形状和姿态，相比直接从原始点学习。我们的方法以循环的方式进行迟到提早特征融合。这是通过在时间上校准和对齐的稀疏柱状令牌上施加基于窗口的注意力块来实现的。利用俯视图前景柱状分割，我们将模型需要融合到当前帧中的稀疏历史特征数量减少了 10 倍。我们还提出了一种随机长度的 FrameDrop 训练技术，它在推断时可以依据可变帧长度来改进性能而无需重新训练。我们在广泛采用的 Waymo Open Dataset 上评估了我们的方法，并证明在 3D 物体检测方面相对于基线模型有所改进，特别是对于挑战性的大物体类别。

    Sep, 2023

  • 利用激光雷达点云的端到端三维物体检测

    无人驾驶车辆中的目标检测与跟踪任务主要依靠相机和 LiDAR 等多种传感器，本研究在使用 LiDAR 点云的新编码方式基础上，通过推断自动驾驶车辆附近不同类别物体的位置，实现了对场景中物体位置和方向的预测。

    Dec, 2023

  • 高级相机 - LiDAR 融合与机器学习的 3D 物体检测

    本研究提出了一种使用单目摄像头和 LiDAR 数据结合的机器学习技术，通过以国际排名领先的二维物体探测器生成的锥体区域来分割 LiDAR 点云，从而检测运动平台周围的车辆的 3D 边界框参数， 最终验证集准确率达到 87.1％。

    May, 2021

  • 使用 3D 时空卷积网络进行自监督点云预测

    本文提出了一种使用 3D LiDAR 扫描来预测未来点云的方法，该方法可用于实现自主移动系统的预测状态估计、避碰和规划，通过使用 2D 范围图像表示扫描数据并连接一系列范围图像来实现端到端的预测，最终通过 3D 卷积来预测未来的 3D 点云，并通过多个数据集进行实验验证，结果表明本文提出的方法比现有的点云预测结构更优且能够很好地适用于新的未知环境。

    Sep, 2021

  • 用于自动驾驶的多视角三维物体检测网络

    该论文研究了自动驾驶场景下高精度的 3D 物体检测问题。其提出了 Multi-View 3D networks（MV3D）框架，该框架采用多传感器融合技术，将 LIDAR 点云和 RGB 图像作为输入，并预测有方向的 3D 界限框。实验表明，该方法在 3D 定位和 3D 检测任务方面的表现优于现有技术约 25％和 30％，在 2D 检测中也表现出显著的技术优势。

    Nov, 2016

  • 从稀疏点到稠密点云：通过有限的 LiDAR 数据增强 3D 检测

    提出了一种结合单目和基于点云的三维检测的平衡方法，使用低成本、低分辨率的传感器获取仅有 512 个点，然后将这有限的三维信息与单张图像结合重建完整的三维点云，通过与多模态现成的三维检测器结合使用，使得三维检测的准确率相比于最新的单目检测方法提高了 20%，相对于基准多模态方法在 KITTI 和 JackRabbot 数据集上提高了 6% 到 9%。

    Apr, 2024

  • Temp-Frustum Net: 时序融合的三维物体检测

    本研究提出了一种新颖的 Temporal Fusion 模块（TFM）用于三维物体的检测，它结合了先前时间步骤中的信息以减轻单帧噪声、场景视野阻塞和稀疏性对三维物体检测的影响，实验结果表明，相较于基线方法的帧间检测，我们在 KITTI 目标跟踪数据集上分别实现了 6％，4％和 6％的改进。

    Apr, 2021

  • MGTANet：使用长短期运动引导时间注意力编码顺序 LiDAR 点以进行 3D 物体检测

    本文提出了一种新的三维物体检测结构，该结构可以编码由多个连续扫描获取的 LiDAR 点云序列，并利用时空上下文实现较大的性能提升。通过短期运动感知体素编码和长期运动指导俯视图特征增强，可以对点云序列进行编码处理，结果显示，与基线方法相比，该模型在性能上显示出明显优越性，在某些三维检测类别方面表现出了最先进的性能。

    Dec, 2022

  • Vote3Deep：使用高效卷积神经网络快速检测三维点云中的物体

    本文提出了一种在三维点云中有效检测对象的方法，使用卷积神经网络并利用稀疏性，提出了基于特征中心投票方案的卷积层和 L1 正则化，实现了高效的大规模三维数据处理，并在 KITTI 物体检测基准测试中表现出优异的成果。

    Sep, 2016

  • TripletTrack：使用三元组嵌入和 LSTM 的 3D 对象跟踪

    本文探讨了使用三元组嵌入和运动表示相结合的方法，对三维物体进行跟踪，通过实验证明该方法有效地再识别物体，并且可以在遮挡，漏检和不同场景中准确地检测再次出现。

    Oct, 2022