CVPRMay, 2022

3D 目标检测的体素场融合技术

PDF
TL;DR提出了一种名为体素场融合的跨模态三维物体检测框架，其中采用了学习采样器从图像平面以点到射线的方式采样关键特征，并在构建的体素场中进行射线融合，进而提高了模型在各项基准测试中的性能和稳定性。
cross-modality 3d object detectionvoxel field fusionsamplerray-wise fusionmixed augmentor
发现论文，激发创造
  • VoxelNextFusion：一个简单、统一且有效的多模态三维物体检测体素融合框架

    VoxelNextFusion 是一种多模态的三维物体检测框架，通过有效地融合稀疏点云和密集图像之间的信息，解决了现有基于体素方法在稀疏和密集特征融合上的问题，从而在 KITTI 和 nuScenes 数据集上实现了 3D 物体检测的显著改进。

    Jan, 2024

  • MVX-Net: 基于多模态 VoxcelNet 的三维物体检测

    该研究提出了两种简单而有效的融合 RGB 和点云模态的早期融合方法，称为 PointFusion 和 VoxelFusion，并利用 VoxelNet 结构来结合这些模态，从而实现与最先进的多模态算法竞争力相当的表现，其能够在 KITTI 基准测试的五个车顶俯视图和 3D 检测类别中实现前两名的排名。

    Apr, 2019

  • 用于 3D 目标检测的密集体素融合

    提出了基于 Dense Voxel Fusion 的序列融合方法，该方法对于自主车辆应用中的 3D 物体检测具有重要意义。通过直接使用地面真实 3D 边界框标签进行训练，避免使用嘈杂的、特定于检测器的 2D 预测。DVF 在 KITTI 3D 汽车检测基准测试中排名第三，且不引入额外的可训练参数，也不需要使用立体图像或密集深度标签。此外，在 Waymo 开放数据集上，DVF 显著提高了基于体素的方法在 3D 车辆检测方面的性能。

    Mar, 2022

  • SDVRF：面向多模态三维目标检测的稀疏到密集体素区域融合

    自动驾驶认知任务利用多模态处理器已成为趋势，该文章提出了 Voxel Region 和 Sparse-to-Dense Voxel Region Fusion，该方法增加了像素图像信息，提取了更丰富的特征，提高了不同基线的性能。

    Apr, 2023

  • 使用 Transformer 实现 3D 物体检测的基于体素的统一表示

    UVTR 提出了一种统一的框架，旨在提高单模或跨模 3D 检测的准确性和鲁棒性，通过设计模态特定空间，保留体素空间并开发不同传感器的输入，实现几何感知点云和图像的上下文特征的交互，从而在 nuScenes 测试集中获得了领先的性能。

    Jun, 2022

  • 基于体素的单图像多物体三维检测和重建

    该研究提出了一种基于 3D 体素特征的中心点检测方法，其中包括一个有效的粗细重建模块，可从单个 2D 图像中检测和重建多个物体的 3D 位置和形状。

    Nov, 2021

  • 三维物体检测的同质多模态特征融合与交互

    本研究提出了一种基于均质结构和自注意力机制的多模态特征融合和交互方法，通过将相机特征转换为 LiDAR 3D 空间，在避免项目信息丢失的同时增强了在复杂背景下的鉴别能力，在 KITTI 基准中超越了所有已发表的算法。

    Oct, 2022

  • Voxel-FPN：在点云中多尺度体素特征聚合的三维物体检测

    本研究提出了一种基于 LIDAR 传感器的一阶段 3D 目标检测器，该检测器在从点数据中提取特征上表现出更好的性能，并在 KITTI-3D 基准测试中表现优异，其速度和准确性在实际场景中具有实际应用价值。

    Jun, 2019

  • VPFNet：基于体素像素融合的多类三维物体检测网络

    本论文提出了一种基于深度学习的融合多类三维物体检测网络，使用 Voxel-Pixel 融合层将激光雷达和相机传感器数据流进行联合，此方法在 KITTI 基准测试中表现优异，排名第一。

    Nov, 2021

  • mmFUSION: 三维物体检测的多模态融合

    提出一种新的中级多模态融合（mmFUSION）方法，通过分别计算每种模态的特征并通过交叉模态和多模态注意机制进行融合，实现了精确的自动驾驶系统中的三维目标检测。

    Nov, 2023