ICCVMar, 2019

通过嵌入颜色的三维重建实现精确的单目物体检测，用于自动驾驶

PDF
TL;DR本文提出了一种自动驾驶中单目三维物体检测框架，着重解决了二维图像数据的不足，通过将输入数据从二维图像平面转换为三维点云空间进行处理，并使用 PointNet 网络进行三维检测，以提高点云的辨别能力，同时利用多模态融合模块将 RGB 颜色信息融入点云表示，证明了在三维空间中推断三维包围盒比在二维图像平面中更加有效，经过在 KITTI 数据集上的评估，该方法的表现超过现有最新的单目方法。
发现论文，激发创造
  • 自动驾驶用基于地面的单目三维物体检测

    通过研究路面对 3D 检测提供的额外信息，提出了一种嵌入式神经网络，能够充分利用这些应用程序特定的先验知识，从而实现使用单个 RGB 摄像机确定环境中对象的位置和方向的三维目标检测。

    Feb, 2021

  • GS3D：面向自动驾驶的高效三维物体检测框架

    本文提出了一种基于单个 RGB 图像的高效三维目标检测框架，旨在从二维图像中提取三维信息并在无点云或立体数据的情况下确定对象的精确三维边界框。该方法利用二维目标检测器提取表面视觉特征，消除使用二维边界框带来的表征歧义问题，并探索了不同的三维边界框细化方法，发现基于质量感知损失的分类式方法具有更好的性能。在 KITTI 基准测试上，该方法优于当前单个 RGB 图像基础的三维目标检测技术水平。

    Mar, 2019

  • 视角到标签：自监督三维物体检测的多视角一致性

    提出了一种基于多视角和弱标签的纯 RGB 序列的自监督 3D 物体检测方法，其在 KITTI 3D 数据集上的性能与使用激光雷达或立体图像的最先进的自监督方法相当。

    May, 2023

  • 用于自动驾驶的多视角三维物体检测网络

    该论文研究了自动驾驶场景下高精度的 3D 物体检测问题。其提出了 Multi-View 3D networks（MV3D）框架，该框架采用多传感器融合技术，将 LIDAR 点云和 RGB 图像作为输入，并预测有方向的 3D 界限框。实验表明，该方法在 3D 定位和 3D 检测任务方面的表现优于现有技术约 25％和 30％，在 2D 检测中也表现出显著的技术优势。

    Nov, 2016

  • 使用几何约束嵌入和半监督训练的单目 3D 检测

    KM3D-Net 提出了一种基于 RGB 图像和关键点的单次检测框架，通过结合完全卷积模型、几何约束和不依赖 CAD 模型、深度生成器，以及一种有效的半监督训练策略，实现了卓越的检测表现，并超过以前所有的最先进方法。

    Sep, 2020

  • RTM3D：自动驾驶中利用物体关键点进行单目实时三维检测

    该论文提出了一种高效准确的单目三维检测框架，通过预测图像空间中的九个三维边界框透视关键点，利用三维和二维透视的几何关系恢复三维空间中的物体属性，无需外部网络或监督数据，实现基于单目图像的实时三维检测。

    Jan, 2020

  • 多模态虚拟点 3D 检测

    通过无缝融合 RGB 传感器到 Lidar 的 3D 识别中，我们提出了一个简单而有效的多模态检测器，该方法利用一组 2D 检测生成密集的虚拟 3D 点，能够增强原来稀疏的 3D 点云，实验结果在大规模 nuScenes 数据集上取得了显着的改进，并超过了竞争融合方法。

    Nov, 2021

  • 基于 RGB-D 数据的三维物体检测的台阶式点云网络

    本文探讨了利用深度学习在 3D 物体检测中，针对使用 RGB-D 数据在室内和室外场景下进行点云识别所面临的挑战以及如何提高效率。通过利用成熟的 2D 物体检测器和先进的 3D 深度学习来提高区域建议与对象本地化的精度，以取得高回收甚至小目标检测的良好性能。在 KITTI 和 SUN RGB-D 3D 检测基准上进行了评估，相比现有技术取得了显著的大幅度升级，并具有实时性能。

    Nov, 2017

  • 用于自动驾驶的可扩展基于视觉的三维物体检测与单目深度估计

    这篇论文通过引入结构增强、数据驱动策略和自主驾驶环境下的无监督深度估计，为自主驾驶应用中基于视觉的 3D 感知技术的广泛应用打下了坚实基础。

    Mar, 2024

  • M3D-RPN: 单目三维区域建议网络用于目标检测

    本研究提出了一种基于几何关系的 monocular 三维物体检测方法，通过单独的三维区域建议网络和深度感知卷积层，能够有效地改善基于图像的三维物体检测在自动驾驶领域中的表现。在 KITTI 数据集上，与其他之前的方法相比，M3D-RPN 方法在单眼三维物体检测和俯视图检测任务中都表现出显著的性能提升。

    Jul, 2019