CVPRMar, 2022

DeepFusion: 基于 Lidar 和相机的深度融合技术用于多模态 3D 物体检测

PDF
TL;DR本文介绍了一种通过将 lidar 特征与摄像头特征融合的方法来提高自动驾驶 3D 检测性能。基于 InverseAug 和 LearnableAlign，提出了一系列被称为 DeepFusion 的通用多模态 3D 检测模型，实现了对 PointPillars、CenterPoint 和 3D-MAN 基线的有效改进，表现出对输入异常和数据偏移的强大鲁棒性和最先进的性能，可公开获取代码
发现论文，激发创造
  • DeepFusion: 适用于激光雷达、相机和雷达的强健模块化三维物体检测器

    DeepFusion 提出了一种模块化的多模态架构，用于融合 lidar，相机和雷达以进行 3D 物体检测，实验结果证明了其灵活性和有效性，并探讨了远距离汽车检测和所需的激光点密度对 3D 物体检测的影响。

    Sep, 2022

  • 自动驾驶中图像与点云融合的深度学习技术综述

    该论文着眼于深度学习在相机 - LiDAR 融合数据处理中的应用，对深度补全、物体检测、语义分割、跟踪和在线跨传感器校准等方面的方法进行了深入评估和比较。该研究提出了当前学术研究与实际应用之间存在的差距和未被重视的挑战，并提出了有前途的研究方向。

    Apr, 2020

  • CrossFusion: 交错跨模态补充用于抵抗噪音的三维物体检测

    本研究提出一种更健壮和噪声抗性的跨模态融合策略 - CrossFusion，充分利用设计的跨模式补充策略的相机和 LiDAR 特征，实验表明我们的方法不仅在不引入额外深度估计网络的情况下优于现有方法，还证明我们的模型具有噪声抗性和不需要重新训练，能够应用于特定故障场景，增加了 5.2％的平均精度（mAP）和 2.4％的归一化检测得分（NDS）

    Apr, 2023

  • 一个广义的多模型融合检测框架

    本文提出了一种名为 MMFusion 的多模态 3D 检测框架，以在复杂场景中实现 LiDAR 和图像的准确融合，通过实验证明，该框架不仅优于现有基准，而且尤其适用于在 KITTI 基准上检测骑自行车和行人。

    Mar, 2023

  • MSMDFusion: 多尺度深度种子融合 LiDAR 和摄像头进行 3D 物体检测

    基于激光雷达和摄像头信息的融合对于实现自动驾驶系统中的准确可靠的三维物体检测至关重要。在该文中，提出了一种新颖的框架，其中利用了深度信息和激光雷达与摄像头之间的交互，实现更全面的多模态融合特征，并在 nuScenes 测试基准中取得了最新的 3D 目标检测结果，同时无需使用测试时间增广和集成技术。

    Sep, 2022

  • BiCo-Fusion: 双向互补 LiDAR - 相机融合用于语义和空间感知的 3D 目标检测

    提出了一种新颖的双向互补激光雷达 - 摄像头融合框架 BiCo-Fusion，可以实现鲁棒的语义感知和空间感知的 3D 目标检测。

    Jun, 2024

  • 多模态虚拟点 3D 检测

    通过无缝融合 RGB 传感器到 Lidar 的 3D 识别中，我们提出了一个简单而有效的多模态检测器，该方法利用一组 2D 检测生成密集的虚拟 3D 点，能够增强原来稀疏的 3D 点云，实验结果在大规模 nuScenes 数据集上取得了显着的改进，并超过了竞争融合方法。

    Nov, 2021

  • 使用完全卷积神经网络进行 LIDAR-Camera 融合以实现道路检测

    使用深度学习方法结合 LIDAR 和相机图像，开发了一种道路检测方法，通过使用多模式信息，新提出的交叉融合 FCN 实现了更高的准确性，表现优异并跻身最佳方法之列。

    Sep, 2018

  • FGFusion：用于三维物体检测的细粒度激光雷达 - 摄像头融合

    我们提出了 Fine-Grained Lidar-Camera Fusion (FGFusion) 方法，通过设计双通路层次结构提取图像的高级语义和低级详细特征，引入辅助网络指导点云特征学习细粒度的空间信息，最后采用多尺度融合 (MSF) 方法将图像和点云的特征融合，通过在 KITTI 和 Waymo 两个常用的自动驾驶基准上进行的大量实验验证了我们方法的有效性。

    Sep, 2023

  • mmFUSION: 三维物体检测的多模态融合

    提出一种新的中级多模态融合（mmFUSION）方法，通过分别计算每种模态的特征并通过交叉模态和多模态注意机制进行融合，实现了精确的自动驾驶系统中的三维目标检测。

    Nov, 2023