Jul, 2023

HVDetFusion：一个简单且稳健的相机 - 雷达融合框架

PDF
TL;DR在自动驾驶领域中，我们提出了一种名为 HVDetFusion 的新的多模态检测算法，既支持纯相机数据作为检测输入，也能融合雷达数据和相机数据的输入，从而实现了具有全面三维检测输出的目标检测算法。该算法在目前的相机 - 雷达三维物体检测器中在具有挑战性的 nuScenes 测试集上实现了最新的技术水平，达到了 67.4％的 NDS。
autonomous driving3d object detectionhvdetfusionmulti-modal detection algorithmcamera-radar 3d object detectors
发现论文，激发创造
  • RCBEVDet: 用于三维物体检测的鸟瞰雷达 - 摄像头融合

    RCBEVDet 是一种在鸟瞰视角下将雷达和相机融合的三维物体检测方法，通过设计 RadarBEVNet 网络进行雷达鸟瞰特征提取，并结合交叉注意力多层融合模块实现自动对齐和融合多模态特征，取得了领先于现有方法的检测结果。

    Mar, 2024

  • 基于中心的雷达与摄像头融合技术的三维物体检测

    本文提出了一种名为 CenterFusion 的传感器融合方法，通过结合雷达和摄像头数据来提升自动驾驶汽车的物体感知和探测能力，并在挑战性数据集上的评估中取得了显著的性能提升。

    Nov, 2020

  • DeepFusion: 适用于激光雷达、相机和雷达的强健模块化三维物体检测器

    DeepFusion 提出了一种模块化的多模态架构，用于融合 lidar，相机和雷达以进行 3D 物体检测，实验结果证明了其灵活性和有效性，并探讨了远距离汽车检测和所需的激光点密度对 3D 物体检测的影响。

    Sep, 2022

  • 雷达体素融合用于 3D 目标检测

    该研究论文通过数据融合不同传感器的数据，开发了低水平的传感器融合网络来进行 3D 物体检测，并提出了一种新的损失函数来提高检测和方向估计性能。在 nuScenes 数据集上的测试结果表明，与基准 lidar 网络相比，融合雷达数据可以提高约 5.1% 的检测分数，特别适用于暴雨和夜晚场景。而融合额外相机数据只有与雷达融合共同使用时才有积极的贡献，这表明传感器间的相互依赖对检测结果很重要。

    Jun, 2021

  • CR3DT：相机 - 雷达融合用于三维检测与跟踪

    自动驾驶中，识别和追踪周围物体是必不可少的。本论文提出了一种相机 - 雷达融合模型用于三维物体检测和多目标追踪，通过合并雷达传感器的空间和速度信息，实现了检测和追踪能力的大幅提升。

    Mar, 2024

  • BEVFusion: 一个简单而稳健的 LiDAR-Camera 融合框架

    该研究提出了一种新颖的相机 - 雷达融合方法 BEVFusion，与现有方法不同，该方法不依赖于雷达数据输入，从而解决了雷达故障对前期融合方法产生的影响。研究结果表明，在正常训练设置下，该方法优于现有最先进方法；在鲁棒性训练设置下，该方法的 MAP 指标相比最先进方法提高了 15.7% 至 28.9%。该方法可以处理实际的雷达故障，可以部署于实际场景而无需任何后处理过程。

    May, 2022

  • CRAFT：基于空间 - 上下文融合 Transformer 的相机 - 雷达三维物体检测

    提出了一种基于早期融合方法和跨通道自适应交叉注意力机制的摄像头与雷达融合的方法，可实现更有效的三维目标检测，并在 nuScenes 测试集中达到了 41.1％的 mAP 和 52.3％的 NDS，相比摄像头基线提高了 8.7 和 10.8 个百分点。

    Sep, 2022

  • BEVDet：高性能多摄像头鸟瞰视角三维物体检测

    本文介绍了一种名为 BEVDet 的算法，它能够基于 Bird-Eye-View 拍摄的视频进行 3D 目标检测，通过利用数据增强策略和升级最大值抑制策略来提高性能，同时在精度和时间效率之间实现出色的平衡。

    Dec, 2021

  • 自动驾驶中基于深度学习的雷达和视觉融合的三维物体检测综述

    自主驾驶中基于雷达与视觉融合的深度学习方法对于三维目标检测起到重要作用，本文综述了雷达 - 视觉融合的综合研究，特别关注了区域兴趣融合和端到端融合策略，并介绍了最新的四维雷达技术及其在自动驾驶中的应用。

    Jun, 2024

  • FADet：一种基于本地突出特征的多传感器三维物体检测网络

    基于多传感器融合和局部特征注意力模块，本文提出了 FADet，一种用于自动驾驶任务的多传感器 3D 检测网络，能够在相机、LiDAR 和雷达输入下的长尾和复杂场景中实现有效的目标检测结果，并在 LiDAR - 相机和雷达 - 相机目标检测任务上达到了最先进的性能。

    May, 2024