Nov, 2023

视觉与毫米波雷达相遇：自动驾驶的三维物体感知基准

PDF
TL;DR传感器融合在自主车辆的准确和健壮的感知系统中至关重要。大多数现有的数据集和感知解决方案都专注于相机和激光雷达的融合，然而相机和雷达之间的协作被显著地低估。本论文介绍了 CRUW3D 数据集，包括 66K 个在不同行驶情景中同步并进行了校准的相机、雷达和激光雷达帧。与其他大规模自动驾驶数据集不同，我们的雷达数据以射频（RF）张量的格式呈现，包含了 3D 位置信息和时空语义信息。这种雷达格式可以使机器学习模型在相机和雷达之间交互和融合信息或特征后生成更可靠的物体感知结果。
sensor fusionautonomous vehiclescameraradar3d object perception
发现论文，激发创造
  • 雷达角色的反思：摄像机 - 雷达数据集及通过坐标对齐的系统化标注器

    该研究提出了一种名为 CRUW 的新数据集，并通过系统化注释和性能评估系统实现了雷达对象检测（ROD）任务，以从雷达的射频（RF）图像纯粹地对 3D 中的物体进行分类和定位，以此来充分利用雷达作为一种全天候传感器的优势。

    May, 2021

  • 自动驾驶中基于深度学习的雷达和视觉融合的三维物体检测综述

    自主驾驶中基于雷达与视觉融合的深度学习方法对于三维目标检测起到重要作用，本文综述了雷达 - 视觉融合的综合研究，特别关注了区域兴趣融合和端到端融合策略，并介绍了最新的四维雷达技术及其在自动驾驶中的应用。

    Jun, 2024

  • CenterRadarNet: 使用 4D FMCW 雷达的联合 3D 物体检测和跟踪框架

    通过使用 CenterRadarNet 来从 4D 雷达数据中进行高分辨率表示学习，对于 3D 物体检测和重新识别任务进行了有效的联合建模，取得了在 K-Radar 3D 物体检测基准测试上的最新成果，并在 K-Radar 数据集 V2 上展示了首次使用雷达进行的 3D 物体追踪结果。

    Nov, 2023

  • 双雷达：一种用于自动驾驶的双 4D 雷达多模态数据集

    雷达在自动驾驶环境感知方面相较于广泛采用的摄像头和 LiDAR 具有更强的适应性。本文介绍了一个新颖的大规模多模态数据集，首次同时捕获了两种类型的 4D 雷达，为进一步研究有效的 4D 雷达感知算法提供了支持。

    Oct, 2023

  • 雷达体素融合用于 3D 目标检测

    该研究论文通过数据融合不同传感器的数据，开发了低水平的传感器融合网络来进行 3D 物体检测，并提出了一种新的损失函数来提高检测和方向估计性能。在 nuScenes 数据集上的测试结果表明，与基准 lidar 网络相比，融合雷达数据可以提高约 5.1% 的检测分数，特别适用于暴雨和夜晚场景。而融合额外相机数据只有与雷达融合共同使用时才有积极的贡献，这表明传感器间的相互依赖对检测结果很重要。

    Jun, 2021

  • 自动驾驶中的雷达 - 摄像头融合目标检测和语义分割：综述

    本论文评述了无人驾驶中基于深度学习的感知技术的发展，介绍了传感器融合技术在提升高精度和鲁棒性感知能力中的关键地位，重点介绍了雷达和相机传感器融合在物体检测和语义分割问题中，探索了该领域中的各种挑战和潜在的研究方向以及数据集和融合方法的互动网站。

    Apr, 2023

  • CR3DT：相机 - 雷达融合用于三维检测与跟踪

    自动驾驶中，识别和追踪周围物体是必不可少的。本论文提出了一种相机 - 雷达融合模型用于三维物体检测和多目标追踪，通过合并雷达传感器的空间和速度信息，实现了检测和追踪能力的大幅提升。

    Mar, 2024

  • K-Radar：各种天气条件下自动驾驶 4D 雷达物体检测

    本文介绍了 KAIST-Radar 数据集，该数据集包含 4D Radar tensor 数据，并提供了附加的 Lidar、立体相机和 RTK-GPS 测量，用于提高雷达物体检测的准确性，该数据集包含逆境天气下的各类道路，提供了相关基准测试和神经网络，并证明了 4D Radar 更适合逆境天气条件下的物体检测。

    Jun, 2022

  • CramNet：使用射线限制交叉注意力进行相机雷达融合，实现强大的 3D 物体检测

    本文介绍了一种利用 CramNet 网络实现相机和雷达传感器融合的方法，其中利用限制射线的交叉注意机制解决了相机特征和雷达特征之间几何对应关系的歧义，支持传感器模态退出训练，从而实现了鲁棒的三维物体检测。

    Oct, 2022

  • 自动驾驶和高级驾驶辅助系统的摄像头 - 雷达感知：概念，数据集和度量

    本文研究了自动驾驶系统中车辆安全性的提高、深度学习基础的障碍物检测和分割、雷达传感器和摄像头传感器的融合，以及在车辆感知中的数据集、度量、挑战和开放性问题，这些元素对于提高自动驾驶系统的普及率具有重要意义。

    Mar, 2023