Sep, 2023

LEF: 后期 - 早期时序融合在 LiDAR 3D 目标检测中的应用

PDF
TL;DR我们提出了一种基于时间 LiDAR 点云的迟到提早循环特征融合方案，用于 3D 物体检测。我们的主要动机是将物体感知的潜在嵌入融合到 3D 物体检测器的早期阶段。这种特征融合策略使模型能够更好地捕捉具有挑战性的物体的形状和姿态，相比直接从原始点学习。我们的方法以循环的方式进行迟到提早特征融合。这是通过在时间上校准和对齐的稀疏柱状令牌上施加基于窗口的注意力块来实现的。利用俯视图前景柱状分割，我们将模型需要融合到当前帧中的稀疏历史特征数量减少了 10 倍。我们还提出了一种随机长度的 FrameDrop 训练技术，它在推断时可以依据可变帧长度来改进性能而无需重新训练。我们在广泛采用的 Waymo Open Dataset 上评估了我们的方法，并证明在 3D 物体检测方面相对于基线模型有所改进，特别是对于挑战性的大物体类别。
发现论文，激发创造
  • 基于 LSTM 的 LiDAR 点云时序三维物体检测方法

    本文提出了一种基于稀疏 LSTM 的多帧 3D 对象检测算法，使用 U-Net 风格的稀疏 3D 卷积网络提取每帧 LiDAR 点云的特征，并将这些特征与上一帧的隐藏和记忆特征一起输入到 LSTM 模块中，以预测当前帧中的 3D 对象，同时传递给下一帧的隐藏和记忆特征。实验结果表明，我们的算法在使用更少的内存和每帧计算的情况下优于传统的逐帧方法 7.5％ [email protected] 和其他多帧方法 1.2％ 。据我们所知，这是在稀疏点云中首次使用 LSTM 进行 3D 对象检测的工作。

    Jul, 2020

  • 深度连续融合的多传感器三维物体检测

    本文提出了一种新颖的三维物体检测器，利用雷达和摄像头实现非常精确的定位，设计了一种端到端可学习的架构，利用连续卷积在不同分辨率级别上融合图像和雷达特征图，其实现了对离散状态图像特征和连续几何信息的编码，从而能够基于多种传感器设计新颖，可靠且高效的端到端可学习的三维目标检测器，实验结果显示，在 KITTI 和大规模三维目标检测基准测试中，相对于现有技术有显著的提高。

    Dec, 2020

  • 基于 2D 后置融合的长尾 3D 检测

    自动驾驶车辆要准确检测常见和罕见类别的物体以确保安全导航，因此出现了长尾三维物体检测（LT3D）的问题。本文研究了 RGB-LiDAR 融合的简单的后期融合框架，通过集成独立训练的 RGB 和 LiDAR 检测器，利用大规模单模数据集显著提高了罕见类别的检测性能，在几个关键组件方面进行了探讨，包括训练二维或三维 RGB 检测器、在三维空间中匹配 RGB 和 LiDAR 检测结果或在二维图像平面中匹配、以及如何概率地融合匹配的检测结果。大量实验结果显示，二维 RGB 检测器的识别准确性优于三维 RGB 检测器，基于二维图像平面的匹配可以减轻深度估计误差，使用概率校准的方法将分数融合可以达到最先进的 LT3D 性能。我们的后期融合方法在 nuScenes LT3D 基准测试中取得了 51.4 mAP 的成绩，相比之前的工作提高了 5.9 mAP。

    Dec, 2023

  • DeepFusion: 适用于激光雷达、相机和雷达的强健模块化三维物体检测器

    DeepFusion 提出了一种模块化的多模态架构，用于融合 lidar，相机和雷达以进行 3D 物体检测，实验结果证明了其灵活性和有效性，并探讨了远距离汽车检测和所需的激光点密度对 3D 物体检测的影响。

    Sep, 2022

  • 高级相机 - LiDAR 融合与机器学习的 3D 物体检测

    本研究提出了一种使用单目摄像头和 LiDAR 数据结合的机器学习技术，通过以国际排名领先的二维物体探测器生成的锥体区域来分割 LiDAR 点云，从而检测运动平台周围的车辆的 3D 边界框参数， 最终验证集准确率达到 87.1％。

    May, 2021

  • Temp-Frustum Net: 时序融合的三维物体检测

    本研究提出了一种新颖的 Temporal Fusion 模块（TFM）用于三维物体的检测，它结合了先前时间步骤中的信息以减轻单帧噪声、场景视野阻塞和稀疏性对三维物体检测的影响，实验结果表明，相较于基线方法的帧间检测，我们在 KITTI 目标跟踪数据集上分别实现了 6％，4％和 6％的改进。

    Apr, 2021

  • MGTANet：使用长短期运动引导时间注意力编码顺序 LiDAR 点以进行 3D 物体检测

    本文提出了一种新的三维物体检测结构，该结构可以编码由多个连续扫描获取的 LiDAR 点云序列，并利用时空上下文实现较大的性能提升。通过短期运动感知体素编码和长期运动指导俯视图特征增强，可以对点云序列进行编码处理，结果显示，与基线方法相比，该模型在性能上显示出明显优越性，在某些三维检测类别方面表现出了最先进的性能。

    Dec, 2022

  • 3D-CVF：使用跨视角空间特征融合生成联合相机和激光雷达特征进行 3D 物体检测

    提出了一种新的深度架构，用于将相机和 LiDAR 传感器融合以进行 3D 物体检测，该方法称为 3D-CVF，通过交叉视图空间特征融合策略，使用自动校准投影将相机和 LiDAR 特征组合，该方法在 KITTI 基准测试中实现了最先进的性能。

    Apr, 2020

  • LiRaFusion：深度自适应激光雷达 - 雷达融合用于三维目标检测

    提出 LiRaFusion 以解决基于 LiDAR 和雷达的三维目标检测的问题，并通过早期融合模块和中期融合模块来改善特征提取能力，最终在 nuScenes 上取得了显著改进。

    Feb, 2024

  • 3D 物体检测的全稀疏融合

    本文研究如何在全稀疏架构中有效利用图像模态，并利用实例查询将 2D 实例分割与 3D 实例分割部分并行集成到 LiDAR 侧，从而实现了统一的基于查询的 2D 和 3D 融合框架，同时保持全稀疏特性。广泛的实验证明了在广泛使用的 nuScenes 数据集和长距离 Argoverse 2 数据集上的最先进性能。值得注意的是，所提出的方法在长距离 LiDAR 感知设置下的推理速度比其他最先进的多模式 3D 检测方法快 2.7 倍。

    Apr, 2023