Apr, 2023

CrossFusion: 交错跨模态补充用于抵抗噪音的三维物体检测

PDF
TL;DR本研究提出一种更健壮和噪声抗性的跨模态融合策略 - CrossFusion，充分利用设计的跨模式补充策略的相机和 LiDAR 特征，实验表明我们的方法不仅在不引入额外深度估计网络的情况下优于现有方法，还证明我们的模型具有噪声抗性和不需要重新训练，能够应用于特定故障场景，增加了 5.2％的平均精度（mAP）和 2.4％的归一化检测得分（NDS）
lidarcamera3d object detectionfusion strategiescrossfusion
发现论文，激发创造
  • DeepFusion: 适用于激光雷达、相机和雷达的强健模块化三维物体检测器

    DeepFusion 提出了一种模块化的多模态架构，用于融合 lidar，相机和雷达以进行 3D 物体检测，实验结果证明了其灵活性和有效性，并探讨了远距离汽车检测和所需的激光点密度对 3D 物体检测的影响。

    Sep, 2022

  • DeepFusion: 基于 Lidar 和相机的深度融合技术用于多模态 3D 物体检测

    本文介绍了一种通过将 lidar 特征与摄像头特征融合的方法来提高自动驾驶 3D 检测性能。基于 InverseAug 和 LearnableAlign，提出了一系列被称为 DeepFusion 的通用多模态 3D 检测模型，实现了对 PointPillars、CenterPoint 和 3D-MAN 基线的有效改进，表现出对输入异常和数据偏移的强大鲁棒性和最先进的性能，可公开获取代码

    Mar, 2022

  • 使用完全卷积神经网络进行 LIDAR-Camera 融合以实现道路检测

    使用深度学习方法结合 LIDAR 和相机图像，开发了一种道路检测方法，通过使用多模式信息，新提出的交叉融合 FCN 实现了更高的准确性，表现优异并跻身最佳方法之列。

    Sep, 2018

  • 3D-CVF：使用跨视角空间特征融合生成联合相机和激光雷达特征进行 3D 物体检测

    提出了一种新的深度架构，用于将相机和 LiDAR 传感器融合以进行 3D 物体检测，该方法称为 3D-CVF，通过交叉视图空间特征融合策略，使用自动校准投影将相机和 LiDAR 特征组合，该方法在 KITTI 基准测试中实现了最先进的性能。

    Apr, 2020

  • BiCo-Fusion: 双向互补 LiDAR - 相机融合用于语义和空间感知的 3D 目标检测

    提出了一种新颖的双向互补激光雷达 - 摄像头融合框架 BiCo-Fusion，可以实现鲁棒的语义感知和空间感知的 3D 目标检测。

    Jun, 2024

  • mmFUSION: 三维物体检测的多模态融合

    提出一种新的中级多模态融合（mmFUSION）方法，通过分别计算每种模态的特征并通过交叉模态和多模态注意机制进行融合，实现了精确的自动驾驶系统中的三维目标检测。

    Nov, 2023

  • 面向受损数据的三维物体检测稳健传感器融合步骤

    本研究提出了一种新的融合步骤来解决数据损坏问题，从而使得 3D 物体检测的多模态传感器融合更加稳健。经过大量实验证明，我们的方法在正常数据上与最先进的方法相当，并在不对齐数据上表现出更好的效果。

    Jun, 2023

  • SparseFusion：融合多模稀疏表征的多传感器三维物体检测

    该研究提出了一种基于稀疏表示的多传感器 3D 检测方法 SparseFusion，利用 LiDAR 和相机模态的并行检测器输出作为稀疏候选，通过轻量级自注意力模块在一致的 3D 空间中融合多模态候选，实现了目前最先进的性能，并且运行速度最快。

    Apr, 2023

  • 一个广义的多模型融合检测框架

    本文提出了一种名为 MMFusion 的多模态 3D 检测框架，以在复杂场景中实现 LiDAR 和图像的准确融合，通过实验证明，该框架不仅优于现有基准，而且尤其适用于在 KITTI 基准上检测骑自行车和行人。

    Mar, 2023

  • 深度连续融合的多传感器三维物体检测

    本文提出了一种新颖的三维物体检测器，利用雷达和摄像头实现非常精确的定位，设计了一种端到端可学习的架构，利用连续卷积在不同分辨率级别上融合图像和雷达特征图，其实现了对离散状态图像特征和连续几何信息的编码，从而能够基于多种传感器设计新颖，可靠且高效的端到端可学习的三维目标检测器，实验结果显示，在 KITTI 和大规模三维目标检测基准测试中，相对于现有技术有显著的提高。

    Dec, 2020