Apr, 2024

DPFT：基于相机雷达的物体检测的双视角融合变压器

PDF
TL;DR自动驾驶车辆的感知必须高效、稳健且具有成本效益。然而，相机对恶劣天气条件不稳定，激光雷达传感器价格昂贵，基于雷达的感知性能仍然不如其他方法。已提出了相机 - 雷达融合方法来解决此问题，但这些方法通常受到雷达点云稀疏性的限制，并且往往适用于没有高度信息的雷达。我们提出了一种名为 Dual Perspective Fusion Transformer (DPFT) 的新型相机 - 雷达融合方法，旨在克服这些限制。我们的方法利用较低层次的雷达数据（雷达立方体）而不是处理过的点云，以尽可能保留更多信息，并在相机和地面平面上进行投影，以有效利用具有高度信息的雷达并简化与相机数据的融合。结果表明，DPFT 在 K-Radar 数据集上展现了最先进的性能，同时对恶劣天气条件具有显著的稳健性并保持低推理时间。代码以开源软件的形式提供，网址见摘要。
发现论文，激发创造
  • ROFusion: 利用混合点云雷达 - 光学融合实现高效物体检测

    本文提出一种混合逐点雷达 - 光学融合方法，结合了来自范围 - 多普勒频谱和光学图像的密集上下文信息，用于自动驾驶场景中的目标检测，表现优于最近的 FFT-RadNet 方法。

    Jul, 2023

  • CRAFT：基于空间 - 上下文融合 Transformer 的相机 - 雷达三维物体检测

    提出了一种基于早期融合方法和跨通道自适应交叉注意力机制的摄像头与雷达融合的方法，可实现更有效的三维目标检测，并在 nuScenes 测试集中达到了 41.1％的 mAP 和 52.3％的 NDS，相比摄像头基线提高了 8.7 和 10.8 个百分点。

    Sep, 2022

  • 激光照亮黑暗：通过相机与雷达融合技术提升自动驾驶车辆低能见度感知

    本篇论文提出了一种基于变形金刚网络的 3D 物体检测模型 REDFormer，该模型通过使用鸟瞰相机和雷达融合，解决低能见度条件下自动驾驶系统的感知问题，并且在多雷达点云数据、多种天气和时间数据的 nuScenes 数据集上进行验证，相比其他最先进模型，该模型在低能见度情况下表现出更高的检测精度。

    May, 2023

  • 雷达体素融合用于 3D 目标检测

    该研究论文通过数据融合不同传感器的数据，开发了低水平的传感器融合网络来进行 3D 物体检测，并提出了一种新的损失函数来提高检测和方向估计性能。在 nuScenes 数据集上的测试结果表明，与基准 lidar 网络相比，融合雷达数据可以提高约 5.1% 的检测分数，特别适用于暴雨和夜晚场景。而融合额外相机数据只有与雷达融合共同使用时才有积极的贡献，这表明传感器间的相互依赖对检测结果很重要。

    Jun, 2021

  • 基于中心的雷达与摄像头融合技术的三维物体检测

    本文提出了一种名为 CenterFusion 的传感器融合方法，通过结合雷达和摄像头数据来提升自动驾驶汽车的物体感知和探测能力，并在挑战性数据集上的评估中取得了显著的性能提升。

    Nov, 2020

  • 自动驾驶中的雷达 - 摄像头融合目标检测和语义分割：综述

    本论文评述了无人驾驶中基于深度学习的感知技术的发展，介绍了传感器融合技术在提升高精度和鲁棒性感知能力中的关键地位，重点介绍了雷达和相机传感器融合在物体检测和语义分割问题中，探索了该领域中的各种挑战和潜在的研究方向以及数据集和融合方法的互动网站。

    Apr, 2023

  • 基于深度学习的雷达和摄像头传感器融合架构用于物体检测

    本文提出了一种通过融合镜头和雷达数据的 CameraRadarFusionNet 网络，在二维目标检测技术上取得了优于目前最新图像网络的性能，同时使用了专注于某一特定传感器类型的普遍训练策略 BlackIn。

    May, 2020

  • 鸟瞰视角下雷达 - 摄像头融合的跨数据集实验研究

    通过利用互补的传感器信息，雷达和相机融合系统具有为高级驾驶员辅助系统和自动驾驶功能提供高度鲁棒可靠的感知系统的潜力。最近相机基于物体检测的进展为鸟瞰特征图的雷达相机融合提供了新的可能性。本文提出了一种新颖而灵活的融合网络，并在两个数据集（nuScenes 和 View-of-Delft）上评估其性能。我们的实验结果表明，虽然相机分支需要大量多样化的训练数据，但雷达分支更受到高性能雷达的影响。使用迁移学习，我们改善了较小数据集上相机的性能。我们的结果进一步证明了雷达相机融合方法明显优于仅相机和仅雷达的基线模型。

    Sep, 2023

  • DeepFusion: 适用于激光雷达、相机和雷达的强健模块化三维物体检测器

    DeepFusion 提出了一种模块化的多模态架构，用于融合 lidar，相机和雷达以进行 3D 物体检测，实验结果证明了其灵活性和有效性，并探讨了远距离汽车检测和所需的激光点密度对 3D 物体检测的影响。

    Sep, 2022

  • 设计有效的卷积网络进行雷达激光雷达融合目标检测

    利用雷达和激光雷达的融合技术提高在恶劣天气条件下的物体检测和定位的准确性。

    Oct, 2023