利用微波雷达和摄像机的互补性，基于深度学习的雷达摄像机三维物体检测方法可以可靠地在低能见度条件下生成准确的检测结果。这使得它们成为自动驾驶车辆感知系统中的首选，特别是由于两种传感器的综合成本比激光雷达更便宜。我们提出了 ClusterFusion，一种利用雷达点云的局部空间特征的架构，在将特征投影到图像平面之前，对雷达点云聚类进行特征提取。ClusterFusion 在 nuScenes 数据集的测试集中取得了最先进的性能，nuScenes 检测分数（NDS）为 48.7％。我们还研究了不同雷达特征提取策略在点云聚类上的性能：一种手工策略，一种基于学习的策略以及两者的组合，并发现手工策略提供了最佳的性能。本研究的主要目标是探索使用雷达点云聚类直接提取雷达的局部空间和逐点特征，用于在图像平面上进行交叉模态特征融合的雷达 - 单目摄像机三维物体检测方法。

Sep, 2023

本论文评述了无人驾驶中基于深度学习的感知技术的发展，介绍了传感器融合技术在提升高精度和鲁棒性感知能力中的关键地位，重点介绍了雷达和相机传感器融合在物体检测和语义分割问题中，探索了该领域中的各种挑战和潜在的研究方向以及数据集和融合方法的互动网站。

Apr, 2023

该研究论文通过数据融合不同传感器的数据，开发了低水平的传感器融合网络来进行 3D 物体检测，并提出了一种新的损失函数来提高检测和方向估计性能。在 nuScenes 数据集上的测试结果表明，与基准 lidar 网络相比，融合雷达数据可以提高约 5.1% 的检测分数，特别适用于暴雨和夜晚场景。而融合额外相机数据只有与雷达融合共同使用时才有积极的贡献，这表明传感器间的相互依赖对检测结果很重要。

Jun, 2021

提出了一种基于早期融合方法和跨通道自适应交叉注意力机制的摄像头与雷达融合的方法，可实现更有效的三维目标检测，并在 nuScenes 测试集中达到了 41.1％的 mAP 和 52.3％的 NDS，相比摄像头基线提高了 8.7 和 10.8 个百分点。

Sep, 2022

通过使用 CenterRadarNet 来从 4D 雷达数据中进行高分辨率表示学习，对于 3D 物体检测和重新识别任务进行了有效的联合建模，取得了在 K-Radar 3D 物体检测基准测试上的最新成果，并在 K-Radar 数据集 V2 上展示了首次使用雷达进行的 3D 物体追踪结果。

Nov, 2023

DeepFusion 提出了一种模块化的多模态架构，用于融合 lidar，相机和雷达以进行 3D 物体检测，实验结果证明了其灵活性和有效性，并探讨了远距离汽车检测和所需的激光点密度对 3D 物体检测的影响。

Sep, 2022

本文提出一种混合逐点雷达 - 光学融合方法，结合了来自范围 - 多普勒频谱和光学图像的密集上下文信息，用于自动驾驶场景中的目标检测，表现优于最近的 FFT-RadNet 方法。

Jul, 2023

在自动驾驶领域中，我们提出了一种名为 HVDetFusion 的新的多模态检测算法，既支持纯相机数据作为检测输入，也能融合雷达数据和相机数据的输入，从而实现了具有全面三维检测输出的目标检测算法。该算法在目前的相机 - 雷达三维物体检测器中在具有挑战性的 nuScenes 测试集上实现了最新的技术水平，达到了 67.4％的 NDS。

Jul, 2023

该研究论文提出了一种新的方法来解决自主车辆感知系统中相机和雷达传感器融合的三维物体检测问题。该方法基于深度学习的最新进展，并利用了两种传感器的优势来提高物体检测性能。通过使用先进的深度学习架构从相机图像中提取二维特征，然后应用一种新颖的跨域空间匹配方法将这些特征转换为三维空间。然后，使用一种互补融合策略将它们与提取的雷达数据进行融合，生成最终的三维物体表示。通过在 NuScenes 数据集上评估，展示了我们方法的有效性。我们将该方法与单传感器性能和当前最先进的融合方法进行比较。结果表明，该方法在单传感器解决方案上取得了优异的性能，并可以与其他顶级融合方法直接竞争。

Apr, 2024

自主驾驶中基于雷达与视觉融合的深度学习方法对于三维目标检测起到重要作用，本文综述了雷达 - 视觉融合的综合研究，特别关注了区域兴趣融合和端到端融合策略，并介绍了最新的四维雷达技术及其在自动驾驶中的应用。

Jun, 2024