Jun, 2021

ImVoxelNet：用于单目 & 多视角下一般性 3D 物体检测的图像到体素的投影

PDF
TL;DR本文介绍了通过多视角 RGB 图像完成 3D 对象检测的方法，并提出了一种全新的完全卷积方法 ImVoxelNet，它在 KITTI（单视角）和 nuScenes（多视角）基准测试以及 SUN RGB-D 数据集上均取得了业内领先的效果，在 ScanNet 上创造了新的多视角 3D 对象检测基准。
multi-view rgb-based 3d object detectionimvoxelnetfully convolutional methodstate-of-the-art resultskitti and nuscenes benchmarks
发现论文，激发创造
  • ImGeoNet: 图像诱导的几何感知体素表示用于多视角三维物体检测

    我们提出了 ImGeoNet，这是一个基于多视图图像的 3D 物体检测框架，通过图像诱导的几何感知体素表示对 3D 空间进行建模。ImGeoNet 通过学习从多视图图像中诱导几何感知来减轻体素空间中的混淆，并且在推理阶段只需要来自多视图的图像。此外，我们可以利用强大的预训练 2D 特征提取器来优化我们的表示，从而获得更强大的性能。通过在 ARKitScenes、ScanNetV2 和 ScanNet200 三个室内数据集上进行定量和定性实验，我们验证了 ImGeoNet 的有效性，并证明它在检测精度方面优于当前最先进的基于多视图图像的方法 ImVoxelNet。此外，ImGeoNet 在只利用 40 个视图的情况下，达到了与 ImVoxelNet 利用 100 个视图相当的结果，显示出较高的数据效率。此外，我们的研究表明，我们提出的图像诱导的几何感知表示可以使基于图像的方法在两种实际场景中实现比重点云方法 VoteNet 更高的检测准确性：（1）点云稀疏且嘈杂的场景，例如 ARKitScenes，以及（2）涉及多样化对象类别，特别是小对象类别的情况，例如 ScanNet200。

    Aug, 2023

  • 基于体素的单图像多物体三维检测和重建

    该研究提出了一种基于 3D 体素特征的中心点检测方法，其中包括一个有效的粗细重建模块，可从单个 2D 图像中检测和重建多个物体的 3D 位置和形状。

    Nov, 2021

  • MVX-Net: 基于多模态 VoxcelNet 的三维物体检测

    该研究提出了两种简单而有效的融合 RGB 和点云模态的早期融合方法，称为 PointFusion 和 VoxelFusion，并利用 VoxelNet 结构来结合这些模态，从而实现与最先进的多模态算法竞争力相当的表现，其能够在 KITTI 基准测试的五个车顶俯视图和 3D 检测类别中实现前两名的排名。

    Apr, 2019

  • 使用 RGB-D 或 深度图像的锥体 VoxNet 3D 物体检测

    本文介绍了一种基于 3D 点云的新型 RGB-D 物体检测系统，其中，我们使用体素化技术来提高对象的分辨率，并使用管道技术提高效率，在 SUN RGB-D 数据集上实现了与最先进技术相当的检测结果，并取得了 2 倍的加速效果。

    Oct, 2019

  • 用于自动驾驶的多视角三维物体检测网络

    该论文研究了自动驾驶场景下高精度的 3D 物体检测问题。其提出了 Multi-View 3D networks（MV3D）框架，该框架采用多传感器融合技术，将 LIDAR 点云和 RGB 图像作为输入，并预测有方向的 3D 界限框。实验表明，该方法在 3D 定位和 3D 检测任务方面的表现优于现有技术约 25％和 30％，在 2D 检测中也表现出显著的技术优势。

    Nov, 2016

  • VoxelNet：基于点云的三维物体检测的端到端学习

    VoxelNet 是一种针对点云图像检测的深度网络，可以将点云分割成等间距的三维体素，并通过新引入的体素特征编码层将每组点转换为统一的特征表示，从而生成描述性的体积表示，并连接 RPN 以生成检测。

    Nov, 2017

  • 通过嵌入颜色的三维重建实现精确的单目物体检测，用于自动驾驶

    本文提出了一种自动驾驶中单目三维物体检测框架，着重解决了二维图像数据的不足，通过将输入数据从二维图像平面转换为三维点云空间进行处理，并使用 PointNet 网络进行三维检测，以提高点云的辨别能力，同时利用多模态融合模块将 RGB 颜色信息融入点云表示，证明了在三维空间中推断三维包围盒比在二维图像平面中更加有效，经过在 KITTI 数据集上的评估，该方法的表现超过现有最新的单目方法。

    Mar, 2019

  • 卷积网络的单张图像多视角 3D 模型

    本文提出了一种卷积网络，可以仅仅基于单张图像预测出物体的 RGB 图和深度图，并将多幅深度图融合成完整点云后可转换成表面网格来对任意视野下的三维物体进行识别。网络通过合成的三维车和椅子模型进行训练，在有杂乱背景并搭配真实车辆图像的情况下，仍可生成合理的推测。

    Nov, 2015

  • VR3Dense: 用于三维物体检测和单目密集深度重建的体素表示学习

    介绍了一种联合训练 3D 目标检测和单目稠密深度重建神经网络的方法，通过 LiDAR 点云和单个 RGB 图像生成物体姿态预测和密集重建深度，其中 LiDAR 点云被转换为一组体素并使用 3D 卷积层提取特征，通过另一个 2D 卷积神经网络提取相应的 RGB 图像特征，并使用这些组合特征来预测密集深度图。

    Apr, 2021

  • 面向单目 3D 物体检测的深度通用化

    提出了一种基于 MoVi-3D 的深度学习架构，使用几何信息生成虚拟视图对单目 RGB 进行 3D 物体检测，与传统方法相比，成功削减了视觉差异性导致的深度学习复杂度，从而取得了 KITTI3D 基准测试的新的最优结果。

    Dec, 2019