Sep, 2023

鸟瞰视角下雷达 - 摄像头融合的跨数据集实验研究

PDF
TL;DR通过利用互补的传感器信息，雷达和相机融合系统具有为高级驾驶员辅助系统和自动驾驶功能提供高度鲁棒可靠的感知系统的潜力。最近相机基于物体检测的进展为鸟瞰特征图的雷达相机融合提供了新的可能性。本文提出了一种新颖而灵活的融合网络，并在两个数据集（nuScenes 和 View-of-Delft）上评估其性能。我们的实验结果表明，虽然相机分支需要大量多样化的训练数据，但雷达分支更受到高性能雷达的影响。使用迁移学习，我们改善了较小数据集上相机的性能。我们的结果进一步证明了雷达相机融合方法明显优于仅相机和仅雷达的基线模型。
发现论文，激发创造
  • 激光照亮黑暗：通过相机与雷达融合技术提升自动驾驶车辆低能见度感知

    本篇论文提出了一种基于变形金刚网络的 3D 物体检测模型 REDFormer，该模型通过使用鸟瞰相机和雷达融合，解决低能见度条件下自动驾驶系统的感知问题，并且在多雷达点云数据、多种天气和时间数据的 nuScenes 数据集上进行验证，相比其他最先进模型，该模型在低能见度情况下表现出更高的检测精度。

    May, 2023

  • 自动驾驶中的雷达 - 摄像头融合目标检测和语义分割：综述

    本论文评述了无人驾驶中基于深度学习的感知技术的发展，介绍了传感器融合技术在提升高精度和鲁棒性感知能力中的关键地位，重点介绍了雷达和相机传感器融合在物体检测和语义分割问题中，探索了该领域中的各种挑战和潜在的研究方向以及数据集和融合方法的互动网站。

    Apr, 2023

  • RC-BEVFusion: 雷达 - 摄像机鸟瞰特征融合插件模块

    本研究提出了一种模块化的雷达 - 相机融合网络，其基于 BEV 平面，该网络通过新增设计的雷达编码器分支 BEVFeatureNet 与几种最先进的相机架构相结合，显著提高了 nuScenes 检测分数，是雷达 - 相机融合研究的重要进展。

    May, 2023

  • 基于深度学习的雷达和摄像头传感器融合架构用于物体检测

    本文提出了一种通过融合镜头和雷达数据的 CameraRadarFusionNet 网络，在二维目标检测技术上取得了优于目前最新图像网络的性能，同时使用了专注于某一特定传感器类型的普遍训练策略 BlackIn。

    May, 2020

  • CRAFT：基于空间 - 上下文融合 Transformer 的相机 - 雷达三维物体检测

    提出了一种基于早期融合方法和跨通道自适应交叉注意力机制的摄像头与雷达融合的方法，可实现更有效的三维目标检测，并在 nuScenes 测试集中达到了 41.1％的 mAP 和 52.3％的 NDS，相比摄像头基线提高了 8.7 和 10.8 个百分点。

    Sep, 2022

  • RCM-Fusion：雷达 - 相机多级融合的三维物体检测

    本文提出了雷达 - 相机多层融合（RCM-Fusion）方法，通过特征级和实例级融合方法充分利用雷达信息，实验结果在公开的 NuScenes 数据集上表明我们的方法在 NuScenes 三维物体检测基准上取得了最先进的性能，检测分数（NDS）较仅相机方法提高了 11.8%。

    Jul, 2023

  • 雷达体素融合用于 3D 目标检测

    该研究论文通过数据融合不同传感器的数据，开发了低水平的传感器融合网络来进行 3D 物体检测，并提出了一种新的损失函数来提高检测和方向估计性能。在 nuScenes 数据集上的测试结果表明，与基准 lidar 网络相比，融合雷达数据可以提高约 5.1% 的检测分数，特别适用于暴雨和夜晚场景。而融合额外相机数据只有与雷达融合共同使用时才有积极的贡献，这表明传感器间的相互依赖对检测结果很重要。

    Jun, 2021

  • 基于相机和雷达的网络实现精确、稳健、高效的三维感知

    本文提出了一种名为 CRN 的相机 - 雷达融合框架，通过使用轻量的雷达测量精确远程物体的位置和空间信息，配合多模激活的可变注意力机制生成丰富的语义和准确的俯视特征图，使该系统在自动驾驶领域表现出色。

    Apr, 2023

  • 自动驾驶中多视角传感器数据融合提升感知和预测

    本文提出了一种利用多视角 LiDAR 返回和摄像头图像的终端到终端物体检测和轨迹预测方法，使用 Bird's-Eye View (BEV) 网络的状态 -of-the-art 融合历史 LiDAR 数据和高清地图的体素化特征来执行检测和预测任务。在此基础上，我们使用 LiDAR Range-View （RV）功能扩展了此模型，使用 LiDAR 原始信息的非量化表示。RV 特征图被投影到 BEV 中，并与计算自 LiDAR 和高清地图的 BEV 特征融合。最终输出检测和轨迹，这是一个单一的可训练终端到终端网络。在实际的无人驾驶车辆数据和公共 nuScenes 数据集上，所提出的多视角融合方法的表现都优于最先进的技术，并且增加了较少的计算成本。

    Aug, 2020

  • RCBEVDet: 用于三维物体检测的鸟瞰雷达 - 摄像头融合

    RCBEVDet 是一种在鸟瞰视角下将雷达和相机融合的三维物体检测方法，通过设计 RadarBEVNet 网络进行雷达鸟瞰特征提取，并结合交叉注意力多层融合模块实现自动对齐和融合多模态特征，取得了领先于现有方法的检测结果。

    Mar, 2024