May, 2023

通过盒匹配实现多模式三维物体检测

PDF
TL;DR本论文提出了一种用于自动驾驶场景中多模态三维物体检测的新型融合网络 FBMNet，其通过在边界框级别上学习对应关系以自由化校准依赖，从而提供了一种用于跨模态特征对齐的替代方法。在 nuScenes 数据集上的实验表明，该方法比现有融合方法更加稳定有效，适用于异步传感器、错位传感器放置和退化相机图像等复杂情况，为实现自动驾驶场景中安全而提供了一种可行解决方案。
multi-modal 3d object detectionfusion networkbounding box matchingfeature alignmentautonomous driving
发现论文，激发创造
  • mmFUSION: 三维物体检测的多模态融合

    提出一种新的中级多模态融合（mmFUSION）方法，通过分别计算每种模态的特征并通过交叉模态和多模态注意机制进行融合，实现了精确的自动驾驶系统中的三维目标检测。

    Nov, 2023

  • 自动驾驶中的多模态 3D 物体检测：一项综述

    本文介绍了自动驾驶所使用的流行传感器、它们的数据性质以及相应的目标检测算法。还讨论了用于评估多模态 3D 目标检测算法的现有数据集。接着对基于多模态融合的 3D 检测网络进行了回顾，并介绍了它们的融合阶段、融合输入和融合粒度以及这些设计选择如何随着时间和技术而演变。最后讨论了面临的挑战以及可能的解决方案。希望本文能帮助研究人员了解多模态 3D 目标检测领域并进行相关研究。

    Jun, 2021

  • 用于自动驾驶的多视角三维物体检测网络

    该论文研究了自动驾驶场景下高精度的 3D 物体检测问题。其提出了 Multi-View 3D networks（MV3D）框架，该框架采用多传感器融合技术，将 LIDAR 点云和 RGB 图像作为输入，并预测有方向的 3D 界限框。实验表明，该方法在 3D 定位和 3D 检测任务方面的表现优于现有技术约 25％和 30％，在 2D 检测中也表现出显著的技术优势。

    Nov, 2016

  • MVX-Net: 基于多模态 VoxcelNet 的三维物体检测

    该研究提出了两种简单而有效的融合 RGB 和点云模态的早期融合方法，称为 PointFusion 和 VoxelFusion，并利用 VoxelNet 结构来结合这些模态，从而实现与最先进的多模态算法竞争力相当的表现，其能够在 KITTI 基准测试的五个车顶俯视图和 3D 检测类别中实现前两名的排名。

    Apr, 2019

  • MAFF-Net：使用多模式自适应特征融合过滤 3D 车辆检测的误报

    本文提出了一种基于多模态融合的三维车辆检测方法，使用图像信息有效降低了假阳性，具有快速检测速度；通过基于通道注意力机制的多模态自适应特征融合模块，实现了对不同模态特征的自适应调节和融合技术的适应性，实验结果表明该方法能够过滤掉更多的假阳性，并在 KITTI 基准测试中获得了最快速度和更好的性能。

    Sep, 2020

  • RoboFusion: 基于 SAM 的稳健多模态 3D 目标检测

    RoboFusion 是一个利用视觉基础模型的健壮框架，通过减少噪声来提高多模式三维物体检测的鲁棒性和可靠性，并在嘈杂的场景中获得了最先进的性能。

    Jan, 2024

  • 一个广义的多模型融合检测框架

    本文提出了一种名为 MMFusion 的多模态 3D 检测框架，以在复杂场景中实现 LiDAR 和图像的准确融合，通过实验证明，该框架不仅优于现有基准，而且尤其适用于在 KITTI 基准上检测骑自行车和行人。

    Mar, 2023

  • 学习的多模态对齐的 4D-Net

    4D-Net 是一种使用 3D 点云和 RGB 感知信息，利用动态连接学习和几何约束来进行三维物体检测的方法。在 Waymo Open Dataset 上，相较于现有方法和强基线，其利用运动线索和密集图像信息更能成功检测到远处的物体。

    Sep, 2021

  • Temp-Frustum Net: 时序融合的三维物体检测

    本研究提出了一种新颖的 Temporal Fusion 模块（TFM）用于三维物体的检测，它结合了先前时间步骤中的信息以减轻单帧噪声、场景视野阻塞和稀疏性对三维物体检测的影响，实验结果表明，相较于基线方法的帧间检测，我们在 KITTI 目标跟踪数据集上分别实现了 6％，4％和 6％的改进。

    Apr, 2021

  • 自主驾驶的多传感器三维物体框细化

    本文提出了一种在自动驾驶背景下具有多传感器优化的三维目标检测系统，其中单眼相机可以作为二维目标提议和初步三维边界框预测，而立体相机和 LiDAR 则被视为自适应插件传感器以优化 3D 边界框本地化性能。

    Sep, 2019