自动驾驶中的雷达 - 摄像头融合目标检测和语义分割:综述
本文研究了自动驾驶系统中车辆安全性的提高、深度学习基础的障碍物检测和分割、雷达传感器和摄像头传感器的融合,以及在车辆感知中的数据集、度量、挑战和开放性问题,这些元素对于提高自动驾驶系统的普及率具有重要意义。
Mar, 2023
本文提出了一种名为 CenterFusion 的传感器融合方法,通过结合雷达和摄像头数据来提升自动驾驶汽车的物体感知和探测能力,并在挑战性数据集上的评估中取得了显著的性能提升。
Nov, 2020
自主驾驶中基于雷达与视觉融合的深度学习方法对于三维目标检测起到重要作用,本文综述了雷达 - 视觉融合的综合研究,特别关注了区域兴趣融合和端到端融合策略,并介绍了最新的四维雷达技术及其在自动驾驶中的应用。
Jun, 2024
该研究论文通过数据融合不同传感器的数据,开发了低水平的传感器融合网络来进行 3D 物体检测,并提出了一种新的损失函数来提高检测和方向估计性能。在 nuScenes 数据集上的测试结果表明,与基准 lidar 网络相比,融合雷达数据可以提高约 5.1% 的检测分数,特别适用于暴雨和夜晚场景。而融合额外相机数据只有与雷达融合共同使用时才有积极的贡献,这表明传感器间的相互依赖对检测结果很重要。
Jun, 2021
通过利用互补的传感器信息,雷达和相机融合系统具有为高级驾驶员辅助系统和自动驾驶功能提供高度鲁棒可靠的感知系统的潜力。最近相机基于物体检测的进展为鸟瞰特征图的雷达相机融合提供了新的可能性。本文提出了一种新颖而灵活的融合网络,并在两个数据集(nuScenes 和 View-of-Delft)上评估其性能。我们的实验结果表明,虽然相机分支需要大量多样化的训练数据,但雷达分支更受到高性能雷达的影响。使用迁移学习,我们改善了较小数据集上相机的性能。我们的结果进一步证明了雷达相机融合方法明显优于仅相机和仅雷达的基线模型。
Sep, 2023
本文介绍了最近在深度学习领域取得的自主驾驶感知技术。对于实现强大而准确的场景理解,自动驾驶车辆通常配备多种传感器 (例如相机、激光雷达、雷达),并且可以将多种感知模式融合以利用它们的互补性。然而,网络架构设计方面缺乏通用指导方针,关于 “何时融合” 和 “如何融合” 等问题仍然存在争议。本文系统地总结了方法学和讨论了自主驾驶中深度多模式对象检测和语义分割的挑战。
Feb, 2019
该论文着眼于深度学习在相机 - LiDAR 融合数据处理中的应用,对深度补全、物体检测、语义分割、跟踪和在线跨传感器校准等方面的方法进行了深入评估和比较。该研究提出了当前学术研究与实际应用之间存在的差距和未被重视的挑战,并提出了有前途的研究方向。
Apr, 2020
本文提出一种混合逐点雷达 - 光学融合方法,结合了来自范围 - 多普勒频谱和光学图像的密集上下文信息,用于自动驾驶场景中的目标检测,表现优于最近的 FFT-RadNet 方法。
Jul, 2023
传感器融合在自主车辆的准确和健壮的感知系统中至关重要。大多数现有的数据集和感知解决方案都专注于相机和激光雷达的融合,然而相机和雷达之间的协作被显著地低估。本论文介绍了 CRUW3D 数据集,包括 66K 个在不同行驶情景中同步并进行了校准的相机、雷达和激光雷达帧。与其他大规模自动驾驶数据集不同,我们的雷达数据以射频(RF)张量的格式呈现,包含了 3D 位置信息和时空语义信息。这种雷达格式可以使机器学习模型在相机和雷达之间交互和融合信息或特征后生成更可靠的物体感知结果。
Nov, 2023
本文提出了一种通过融合镜头和雷达数据的 CameraRadarFusionNet 网络,在二维目标检测技术上取得了优于目前最新图像网络的性能,同时使用了专注于某一特定传感器类型的普遍训练策略 BlackIn。
May, 2020