MVX-Net: 基于多模态 VoxcelNet 的三维物体检测

Apr, 2019

MVX-Net: 基于多模态 VoxcelNet 的三维物体检测

MVX-Net: Multimodal VoxelNet for 3D Object Detection

Vishwanath A. Sindagi, Yin Zhou, Oncel Tuzel

TL;DR该研究提出了两种简单而有效的融合 RGB 和点云模态的早期融合方法，称为 PointFusion 和 VoxelFusion，并利用 VoxelNet 结构来结合这些模态，从而实现与最先进的多模态算法竞争力相当的表现，其能够在 KITTI 基准测试的五个车顶俯视图和 3D 检测类别中实现前两名的排名。

Abstract

Many recent works on 3d object detection have focused on designing neural network architectures that can consume point cloud data. While these approaches demonstrate encouraging performance, they are typically ba

3d object detection neural network architectures point cloud data rgb and point cloud modalities early-fusion approaches

发现论文，激发创造

VoxelNextFusion：一个简单、统一且有效的多模态三维物体检测体素融合框架

VoxelNextFusion 是一种多模态的三维物体检测框架，通过有效地融合稀疏点云和密集图像之间的信息，解决了现有基于体素方法在稀疏和密集特征融合上的问题，从而在 KITTI 和 nuScenes 数据集上实现了 3D 物体检测的显著改进。

Jan, 2024

3D 目标检测的体素场融合技术

提出了一种名为体素场融合的跨模态三维物体检测框架，其中采用了学习采样器从图像平面以点到射线的方式采样关键特征，并在构建的体素场中进行射线融合，进而提高了模型在各项基准测试中的性能和稳定性。

May, 2022

PointFusion：用于 3D 边界框估计的深度传感器融合

使用 PointFusion 实现基于图像和点云信息的 3D 对象检测方法，其中 CNN 和 PointNet 网络分别处理图像和点云数据，再由新型融合网络将二者输出结合起来预测多个 3D 框及其置信度，相比现有方法在 KITTI 和 SUN-RGBD 数据集上实现更好的检测结果且无需特定模型调整。

Nov, 2017

用于 3D 目标检测的密集体素融合

提出了基于 Dense Voxel Fusion 的序列融合方法，该方法对于自主车辆应用中的 3D 物体检测具有重要意义。通过直接使用地面真实 3D 边界框标签进行训练，避免使用嘈杂的、特定于检测器的 2D 预测。DVF 在 KITTI 3D 汽车检测基准测试中排名第三，且不引入额外的可训练参数，也不需要使用立体图像或密集深度标签。此外，在 Waymo 开放数据集上，DVF 显著提高了基于体素的方法在 3D 车辆检测方面的性能。

Mar, 2022

mmFUSION: 三维物体检测的多模态融合

提出一种新的中级多模态融合（mmFUSION）方法，通过分别计算每种模态的特征并通过交叉模态和多模态注意机制进行融合，实现了精确的自动驾驶系统中的三维目标检测。

Nov, 2023

学习的多模态对齐的 4D-Net

4D-Net 是一种使用 3D 点云和 RGB 感知信息，利用动态连接学习和几何约束来进行三维物体检测的方法。在 Waymo Open Dataset 上，相较于现有方法和强基线，其利用运动线索和密集图像信息更能成功检测到远处的物体。

Sep, 2021

LiDAR 点云 3D 物体检测的端到端多视角融合

本文提出了一种新颖的多视角融合算法 (MVF)，它能够从鸟瞰视角和透视视角有效地学习利用互补信息，其中采用了动态体素化方法。在 Waymo 开放数据集和 KITTI 数据集上的评估表明，MVF 模型显著提高了检测精度。

Oct, 2019

VPFNet：基于体素像素融合的多类三维物体检测网络

本论文提出了一种基于深度学习的融合多类三维物体检测网络，使用 Voxel-Pixel 融合层将激光雷达和相机传感器数据流进行联合，此方法在 KITTI 基准测试中表现优异，排名第一。

Nov, 2021

VoxelNet：基于点云的三维物体检测的端到端学习

VoxelNet 是一种针对点云图像检测的深度网络，可以将点云分割成等间距的三维体素，并通过新引入的体素特征编码层将每组点转换为统一的特征表示，从而生成描述性的体积表示，并连接 RPN 以生成检测。

Nov, 2017

用于自动驾驶的多视角三维物体检测网络

该论文研究了自动驾驶场景下高精度的 3D 物体检测问题。其提出了 Multi-View 3D networks（MV3D）框架，该框架采用多传感器融合技术，将 LIDAR 点云和 RGB 图像作为输入，并预测有方向的 3D 界限框。实验表明，该方法在 3D 定位和 3D 检测任务方面的表现优于现有技术约 25％和 30％，在 2D 检测中也表现出显著的技术优势。

Nov, 2016