Apr, 2024

自主车辆感知系统中的摄像机和雷达传感器数据融合的跨领域空间匹配

PDF
TL;DR该研究论文提出了一种新的方法来解决自主车辆感知系统中相机和雷达传感器融合的三维物体检测问题。该方法基于深度学习的最新进展，并利用了两种传感器的优势来提高物体检测性能。通过使用先进的深度学习架构从相机图像中提取二维特征，然后应用一种新颖的跨域空间匹配方法将这些特征转换为三维空间。然后，使用一种互补融合策略将它们与提取的雷达数据进行融合，生成最终的三维物体表示。通过在 NuScenes 数据集上评估，展示了我们方法的有效性。我们将该方法与单传感器性能和当前最先进的融合方法进行比较。结果表明，该方法在单传感器解决方案上取得了优异的性能，并可以与其他顶级融合方法直接竞争。
发现论文，激发创造
  • CramNet：使用射线限制交叉注意力进行相机雷达融合，实现强大的 3D 物体检测

    本文介绍了一种利用 CramNet 网络实现相机和雷达传感器融合的方法，其中利用限制射线的交叉注意机制解决了相机特征和雷达特征之间几何对应关系的歧义，支持传感器模态退出训练，从而实现了鲁棒的三维物体检测。

    Oct, 2022

  • 基于中心的雷达与摄像头融合技术的三维物体检测

    本文提出了一种名为 CenterFusion 的传感器融合方法，通过结合雷达和摄像头数据来提升自动驾驶汽车的物体感知和探测能力，并在挑战性数据集上的评估中取得了显著的性能提升。

    Nov, 2020

  • CRAFT：基于空间 - 上下文融合 Transformer 的相机 - 雷达三维物体检测

    提出了一种基于早期融合方法和跨通道自适应交叉注意力机制的摄像头与雷达融合的方法，可实现更有效的三维目标检测，并在 nuScenes 测试集中达到了 41.1％的 mAP 和 52.3％的 NDS，相比摄像头基线提高了 8.7 和 10.8 个百分点。

    Sep, 2022

  • ClusterFusion: 在自动驾驶车辆中利用雷达空间特征进行雷达 - 相机三维物体检测

    利用微波雷达和摄像机的互补性，基于深度学习的雷达摄像机三维物体检测方法可以可靠地在低能见度条件下生成准确的检测结果。这使得它们成为自动驾驶车辆感知系统中的首选，特别是由于两种传感器的综合成本比激光雷达更便宜。我们提出了 ClusterFusion，一种利用雷达点云的局部空间特征的架构，在将特征投影到图像平面之前，对雷达点云聚类进行特征提取。ClusterFusion 在 nuScenes 数据集的测试集中取得了最先进的性能，nuScenes 检测分数（NDS）为 48.7％。我们还研究了不同雷达特征提取策略在点云聚类上的性能：一种手工策略，一种基于学习的策略以及两者的组合，并发现手工策略提供了最佳的性能。本研究的主要目标是探索使用雷达点云聚类直接提取雷达的局部空间和逐点特征，用于在图像平面上进行交叉模态特征融合的雷达 - 单目摄像机三维物体检测方法。

    Sep, 2023

  • 自动驾驶中的雷达 - 摄像头融合目标检测和语义分割：综述

    本论文评述了无人驾驶中基于深度学习的感知技术的发展，介绍了传感器融合技术在提升高精度和鲁棒性感知能力中的关键地位，重点介绍了雷达和相机传感器融合在物体检测和语义分割问题中，探索了该领域中的各种挑战和潜在的研究方向以及数据集和融合方法的互动网站。

    Apr, 2023

  • 雷达体素融合用于 3D 目标检测

    该研究论文通过数据融合不同传感器的数据，开发了低水平的传感器融合网络来进行 3D 物体检测，并提出了一种新的损失函数来提高检测和方向估计性能。在 nuScenes 数据集上的测试结果表明，与基准 lidar 网络相比，融合雷达数据可以提高约 5.1% 的检测分数，特别适用于暴雨和夜晚场景。而融合额外相机数据只有与雷达融合共同使用时才有积极的贡献，这表明传感器间的相互依赖对检测结果很重要。

    Jun, 2021

  • 视觉与毫米波雷达相遇：自动驾驶的三维物体感知基准

    传感器融合在自主车辆的准确和健壮的感知系统中至关重要。大多数现有的数据集和感知解决方案都专注于相机和激光雷达的融合，然而相机和雷达之间的协作被显著地低估。本论文介绍了 CRUW3D 数据集，包括 66K 个在不同行驶情景中同步并进行了校准的相机、雷达和激光雷达帧。与其他大规模自动驾驶数据集不同，我们的雷达数据以射频（RF）张量的格式呈现，包含了 3D 位置信息和时空语义信息。这种雷达格式可以使机器学习模型在相机和雷达之间交互和融合信息或特征后生成更可靠的物体感知结果。

    Nov, 2023

  • 鸟瞰视角下雷达 - 摄像头融合的跨数据集实验研究

    通过利用互补的传感器信息，雷达和相机融合系统具有为高级驾驶员辅助系统和自动驾驶功能提供高度鲁棒可靠的感知系统的潜力。最近相机基于物体检测的进展为鸟瞰特征图的雷达相机融合提供了新的可能性。本文提出了一种新颖而灵活的融合网络，并在两个数据集（nuScenes 和 View-of-Delft）上评估其性能。我们的实验结果表明，虽然相机分支需要大量多样化的训练数据，但雷达分支更受到高性能雷达的影响。使用迁移学习，我们改善了较小数据集上相机的性能。我们的结果进一步证明了雷达相机融合方法明显优于仅相机和仅雷达的基线模型。

    Sep, 2023

  • 自动驾驶中基于深度学习的雷达和视觉融合的三维物体检测综述

    自主驾驶中基于雷达与视觉融合的深度学习方法对于三维目标检测起到重要作用，本文综述了雷达 - 视觉融合的综合研究，特别关注了区域兴趣融合和端到端融合策略，并介绍了最新的四维雷达技术及其在自动驾驶中的应用。

    Jun, 2024

  • 自动驾驶和高级驾驶辅助系统的摄像头 - 雷达感知：概念，数据集和度量

    本文研究了自动驾驶系统中车辆安全性的提高、深度学习基础的障碍物检测和分割、雷达传感器和摄像头传感器的融合，以及在车辆感知中的数据集、度量、挑战和开放性问题，这些元素对于提高自动驾驶系统的普及率具有重要意义。

    Mar, 2023