利用微波雷达和摄像机的互补性，基于深度学习的雷达摄像机三维物体检测方法可以可靠地在低能见度条件下生成准确的检测结果。这使得它们成为自动驾驶车辆感知系统中的首选，特别是由于两种传感器的综合成本比激光雷达更便宜。我们提出了 ClusterFusion，一种利用雷达点云的局部空间特征的架构，在将特征投影到图像平面之前，对雷达点云聚类进行特征提取。ClusterFusion 在 nuScenes 数据集的测试集中取得了最先进的性能，nuScenes 检测分数（NDS）为 48.7％。我们还研究了不同雷达特征提取策略在点云聚类上的性能：一种手工策略，一种基于学习的策略以及两者的组合，并发现手工策略提供了最佳的性能。本研究的主要目标是探索使用雷达点云聚类直接提取雷达的局部空间和逐点特征，用于在图像平面上进行交叉模态特征融合的雷达 - 单目摄像机三维物体检测方法。

Sep, 2023

DeepFusion 提出了一种模块化的多模态架构，用于融合 lidar，相机和雷达以进行 3D 物体检测，实验结果证明了其灵活性和有效性，并探讨了远距离汽车检测和所需的激光点密度对 3D 物体检测的影响。

Sep, 2022

本文提出了雷达 - 相机多层融合（RCM-Fusion）方法，通过特征级和实例级融合方法充分利用雷达信息，实验结果在公开的 NuScenes 数据集上表明我们的方法在 NuScenes 三维物体检测基准上取得了最先进的性能，检测分数（NDS）较仅相机方法提高了 11.8%。

Jul, 2023

该研究论文通过数据融合不同传感器的数据，开发了低水平的传感器融合网络来进行 3D 物体检测，并提出了一种新的损失函数来提高检测和方向估计性能。在 nuScenes 数据集上的测试结果表明，与基准 lidar 网络相比，融合雷达数据可以提高约 5.1% 的检测分数，特别适用于暴雨和夜晚场景。而融合额外相机数据只有与雷达融合共同使用时才有积极的贡献，这表明传感器间的相互依赖对检测结果很重要。

Jun, 2021

本文提出了一种名为 CenterFusion 的传感器融合方法，通过结合雷达和摄像头数据来提升自动驾驶汽车的物体感知和探测能力，并在挑战性数据集上的评估中取得了显著的性能提升。

Nov, 2020

本篇论文提出了一种基于变形金刚网络的 3D 物体检测模型 REDFormer，该模型通过使用鸟瞰相机和雷达融合，解决低能见度条件下自动驾驶系统的感知问题，并且在多雷达点云数据、多种天气和时间数据的 nuScenes 数据集上进行验证，相比其他最先进模型，该模型在低能见度情况下表现出更高的检测精度。

May, 2023

本文提出了一种通过融合镜头和雷达数据的 CameraRadarFusionNet 网络，在二维目标检测技术上取得了优于目前最新图像网络的性能，同时使用了专注于某一特定传感器类型的普遍训练策略 BlackIn。

May, 2020

本文提出一种混合逐点雷达 - 光学融合方法，结合了来自范围 - 多普勒频谱和光学图像的密集上下文信息，用于自动驾驶场景中的目标检测，表现优于最近的 FFT-RadNet 方法。

Jul, 2023

本文介绍了一种利用 CramNet 网络实现相机和雷达传感器融合的方法，其中利用限制射线的交叉注意机制解决了相机特征和雷达特征之间几何对应关系的歧义，支持传感器模态退出训练，从而实现了鲁棒的三维物体检测。

Oct, 2022

自动驾驶中，识别和追踪周围物体是必不可少的。本论文提出了一种相机 - 雷达融合模型用于三维物体检测和多目标追踪，通过合并雷达传感器的空间和速度信息，实现了检测和追踪能力的大幅提升。

Mar, 2024