Jul, 2023

RCM-Fusion：雷达 - 相机多级融合的三维物体检测

PDF
TL;DR本文提出了雷达 - 相机多层融合（RCM-Fusion）方法，通过特征级和实例级融合方法充分利用雷达信息，实验结果在公开的 NuScenes 数据集上表明我们的方法在 NuScenes 三维物体检测基准上取得了最先进的性能，检测分数（NDS）较仅相机方法提高了 11.8%。
发现论文，激发创造
  • RC-BEVFusion: 雷达 - 摄像机鸟瞰特征融合插件模块

    本研究提出了一种模块化的雷达 - 相机融合网络，其基于 BEV 平面，该网络通过新增设计的雷达编码器分支 BEVFeatureNet 与几种最先进的相机架构相结合，显著提高了 nuScenes 检测分数，是雷达 - 相机融合研究的重要进展。

    May, 2023

  • RCBEVDet: 用于三维物体检测的鸟瞰雷达 - 摄像头融合

    RCBEVDet 是一种在鸟瞰视角下将雷达和相机融合的三维物体检测方法，通过设计 RadarBEVNet 网络进行雷达鸟瞰特征提取，并结合交叉注意力多层融合模块实现自动对齐和融合多模态特征，取得了领先于现有方法的检测结果。

    Mar, 2024

  • CRAFT：基于空间 - 上下文融合 Transformer 的相机 - 雷达三维物体检测

    提出了一种基于早期融合方法和跨通道自适应交叉注意力机制的摄像头与雷达融合的方法，可实现更有效的三维目标检测，并在 nuScenes 测试集中达到了 41.1％的 mAP 和 52.3％的 NDS，相比摄像头基线提高了 8.7 和 10.8 个百分点。

    Sep, 2022

  • DeepFusion: 适用于激光雷达、相机和雷达的强健模块化三维物体检测器

    DeepFusion 提出了一种模块化的多模态架构，用于融合 lidar，相机和雷达以进行 3D 物体检测，实验结果证明了其灵活性和有效性，并探讨了远距离汽车检测和所需的激光点密度对 3D 物体检测的影响。

    Sep, 2022

  • ClusterFusion: 在自动驾驶车辆中利用雷达空间特征进行雷达 - 相机三维物体检测

    利用微波雷达和摄像机的互补性，基于深度学习的雷达摄像机三维物体检测方法可以可靠地在低能见度条件下生成准确的检测结果。这使得它们成为自动驾驶车辆感知系统中的首选，特别是由于两种传感器的综合成本比激光雷达更便宜。我们提出了 ClusterFusion，一种利用雷达点云的局部空间特征的架构，在将特征投影到图像平面之前，对雷达点云聚类进行特征提取。ClusterFusion 在 nuScenes 数据集的测试集中取得了最先进的性能，nuScenes 检测分数（NDS）为 48.7％。我们还研究了不同雷达特征提取策略在点云聚类上的性能：一种手工策略，一种基于学习的策略以及两者的组合，并发现手工策略提供了最佳的性能。本研究的主要目标是探索使用雷达点云聚类直接提取雷达的局部空间和逐点特征，用于在图像平面上进行交叉模态特征融合的雷达 - 单目摄像机三维物体检测方法。

    Sep, 2023

  • 鸟瞰视角下雷达 - 摄像头融合的跨数据集实验研究

    通过利用互补的传感器信息，雷达和相机融合系统具有为高级驾驶员辅助系统和自动驾驶功能提供高度鲁棒可靠的感知系统的潜力。最近相机基于物体检测的进展为鸟瞰特征图的雷达相机融合提供了新的可能性。本文提出了一种新颖而灵活的融合网络，并在两个数据集（nuScenes 和 View-of-Delft）上评估其性能。我们的实验结果表明，虽然相机分支需要大量多样化的训练数据，但雷达分支更受到高性能雷达的影响。使用迁移学习，我们改善了较小数据集上相机的性能。我们的结果进一步证明了雷达相机融合方法明显优于仅相机和仅雷达的基线模型。

    Sep, 2023

  • 基于中心的雷达与摄像头融合技术的三维物体检测

    本文提出了一种名为 CenterFusion 的传感器融合方法，通过结合雷达和摄像头数据来提升自动驾驶汽车的物体感知和探测能力，并在挑战性数据集上的评估中取得了显著的性能提升。

    Nov, 2020

  • CRKD：拥有跨模态知识蒸馏的增强型相机 - 雷达目标检测

    在自动驾驶的三维物体检测领域，LiDAR - 相机融合是性能最佳的传感器配置，但是由于成本较高，阻碍了该技术在消费级汽车中的采用。本研究提出了一种相机 - 雷达知识蒸馏（CRKD）框架，旨在弥合相机 - 雷达融合和 LiDAR - 相机融合之间的性能差距，并通过引入鸟瞰图表示作为共享特征空间，实现有效的知识蒸馏。通过四个蒸馏损失函数帮助学生模型从教师模型中学习关键特征，并在 nuScenes 数据集上进行了广泛的评估，展示了 CRKD 框架的有效性。

    Mar, 2024

  • 雷达体素融合用于 3D 目标检测

    该研究论文通过数据融合不同传感器的数据，开发了低水平的传感器融合网络来进行 3D 物体检测，并提出了一种新的损失函数来提高检测和方向估计性能。在 nuScenes 数据集上的测试结果表明，与基准 lidar 网络相比，融合雷达数据可以提高约 5.1% 的检测分数，特别适用于暴雨和夜晚场景。而融合额外相机数据只有与雷达融合共同使用时才有积极的贡献，这表明传感器间的相互依赖对检测结果很重要。

    Jun, 2021

  • 激光照亮黑暗：通过相机与雷达融合技术提升自动驾驶车辆低能见度感知

    本篇论文提出了一种基于变形金刚网络的 3D 物体检测模型 REDFormer，该模型通过使用鸟瞰相机和雷达融合，解决低能见度条件下自动驾驶系统的感知问题，并且在多雷达点云数据、多种天气和时间数据的 nuScenes 数据集上进行验证，相比其他最先进模型，该模型在低能见度情况下表现出更高的检测精度。

    May, 2023