Oct, 2023

基于专家范围和多模态虚拟点的全稀疏长距离三维物体检测

PDF
TL;DR我们的研究论文提出了一种利用 LiDAR 和图像相结合的方法来解决长距离 3D 物体检测的问题，通过组合两种不同范围的专家网络和引入 Multimodal Virtual Points（MVP）进行数据增强，我们的方法在长距离上达到了最先进的性能。
3d object detectionlidarlong-rangelabel imbalancemultimodal virtual points
发现论文，激发创造
  • 全稀疏三维物体检测

    通过稀疏编码器与稀疏实例识别（SIR）模块，提出了一种全稀疏三维目标检测器（FSD），该方法可以在自动驾驶的远距离感知任务中实现高效的检测，具有状态 - of-the-art 性能并且比密集对应物快 2.4 倍。

    Jul, 2022

  • 三维物体检测范围的实证分析

    基于 LiDAR 的 3D 检测在自动导航中起着至关重要的作用。本文通过对长距离检测数据集 Argoverse 2.0 的经验性分析，揭示了近场和远场 3D 检测的不同特征，并提出了一种基于集成模型的有效技术，使长距离检测的效率提高了 33%，准确性提高了 3.2% CDS。

    Aug, 2023

  • Far3D：扩展全景视角 3D 物体检测的视野

    提出了一种名为 Far3D 的新型稀疏查询框架，通过利用高质量的二维对象先验信息生成三维自适应查询，引入了透视感知聚合模块来高效捕获长距离对象在不同视角和尺度上的区别性特征，并通过范围调制的三维去噪方法解决了长距离任务中查询错误传播和收敛问题，相较于基于 LiDAR 的方法，在覆盖范围 150 米的具有挑战性的 Argoverse 2 数据集上表现出最先进的性能，并且在 nuScenes 数据集上相比之前的方法也展示了更好的性能。

    Aug, 2023

  • 3D 物体检测的全稀疏融合

    本文研究如何在全稀疏架构中有效利用图像模态，并利用实例查询将 2D 实例分割与 3D 实例分割部分并行集成到 LiDAR 侧，从而实现了统一的基于查询的 2D 和 3D 融合框架，同时保持全稀疏特性。广泛的实验证明了在广泛使用的 nuScenes 数据集和长距离 Argoverse 2 数据集上的最先进性能。值得注意的是，所提出的方法在长距离 LiDAR 感知设置下的推理速度比其他最先进的多模式 3D 检测方法快 2.7 倍。

    Apr, 2023

  • 多模态虚拟点 3D 检测

    通过无缝融合 RGB 传感器到 Lidar 的 3D 识别中，我们提出了一个简单而有效的多模态检测器，该方法利用一组 2D 检测生成密集的虚拟 3D 点，能够增强原来稀疏的 3D 点云，实验结果在大规模 nuScenes 数据集上取得了显着的改进，并超过了竞争融合方法。

    Nov, 2021

  • 稀疏融合：高效稀疏多模态融合框架用于远程三维感知

    SparseFusion 是一种基于稀疏三维特征构建的新型多模态融合框架，能够有效实现远程感知，并在长程 3D 感知任务和时间目标检测任务中取得了最优的性能。

    Mar, 2024

  • 用于自动驾驶的多视角三维物体检测网络

    该论文研究了自动驾驶场景下高精度的 3D 物体检测问题。其提出了 Multi-View 3D networks（MV3D）框架，该框架采用多传感器融合技术，将 LIDAR 点云和 RGB 图像作为输入，并预测有方向的 3D 界限框。实验表明，该方法在 3D 定位和 3D 检测任务方面的表现优于现有技术约 25％和 30％，在 2D 检测中也表现出显著的技术优势。

    Nov, 2016

  • Far3Det: 远距离 3D 检测

    通过 nuScenes 数据集开发出一种新的远场三维检测评估协议，以评估现有方法的性能，其结论是高分辨率 RGB 可以提高远场物体的三维检测，而 RGB 和激光雷达检测器的融合可以比目前的方法获得更好的检测性能。

    Nov, 2022

  • SDVRF：面向多模态三维目标检测的稀疏到密集体素区域融合

    自动驾驶认知任务利用多模态处理器已成为趋势，该文章提出了 Voxel Region 和 Sparse-to-Dense Voxel Region Fusion，该方法增加了像素图像信息，提取了更丰富的特征，提高了不同基线的性能。

    Apr, 2023

  • 基于 2D 后置融合的长尾 3D 检测

    自动驾驶车辆要准确检测常见和罕见类别的物体以确保安全导航，因此出现了长尾三维物体检测（LT3D）的问题。本文研究了 RGB-LiDAR 融合的简单的后期融合框架，通过集成独立训练的 RGB 和 LiDAR 检测器，利用大规模单模数据集显著提高了罕见类别的检测性能，在几个关键组件方面进行了探讨，包括训练二维或三维 RGB 检测器、在三维空间中匹配 RGB 和 LiDAR 检测结果或在二维图像平面中匹配、以及如何概率地融合匹配的检测结果。大量实验结果显示，二维 RGB 检测器的识别准确性优于三维 RGB 检测器，基于二维图像平面的匹配可以减轻深度估计误差，使用概率校准的方法将分数融合可以达到最先进的 LT3D 性能。我们的后期融合方法在 nuScenes LT3D 基准测试中取得了 51.4 mAP 的成绩，相比之前的工作提高了 5.9 mAP。

    Dec, 2023