Mar, 2024

TUMTraf V2X 协作感知数据集

PDF
TL;DR合作感知技术对提升自主车辆能力和道路安全具有多方面的好处，使用路侧传感器以及车载传感器可以提高可靠性和扩展传感器范围。我们提出了一种合作多模态融合模型 CoopDet3D 和感知数据集 TUMTraf-V2X，用于合作式三维物体检测和跟踪任务。通过多次实验，我们证明了相对于车载摄像头 - LiDAR 融合模型，我们的 CoopDet3D 摄像头 - LiDAR 融合模型在三维 mAP 上实现了 + 14.36 的提高。最后，我们将我们的数据集、模型、标注工具和开发套件公开发布在我们的网站上。
cooperative perceptionautonomous vehiclesroadside sensorscoopdet3dtumtraf-v2x
发现论文，激发创造
  • V2V4Real：一项用于车辆间协作感知的真实世界大规模数据集

    本文介绍了 V2V4Real 多模态数据集和近期合作感知算法在三项任务上的全面基准测试。通过两辆车行驶，由多模态传感器收集数据，该数据集包括 20K LiDAR 帧、40K RGB 帧、240K 5 类三维边界框的标注和覆盖所有行驶路线的 HDMaps。该数据集对协作 3D 物体检测、协作 3D 物体跟踪和 Sim2Real 领域自适应合作感知等三个任务提出了需要解决的问题。

    Mar, 2023

  • 基于 3D 点云的联网自动驾驶车辆的合作感知

    借助 LiDAR 3D 点云技术，基于来自联网汽车不同位置和角度的传感器数据融合，提出一种基于点云的 3D 物体检测方法，拓展感知区域、提高检测准确性、促进增强结果，同时通过现有的车联网技术，可实现利用点云数据进行协同感知。

    May, 2019

  • V2X-Real：一个大规模的车辆对一切协作感知数据集

    我们提出了一个具有多模态传感数据的数据集，以促进车辆与智能基础设施之间的协作感知发展，并通过合作感知方法的综合多类多智能体评估来支持研究。

    Mar, 2024

  • 基础设施传感器协同感知驾驶场景中的 3D 物体检测

    本文提出了两种单模态传感器的合作式三维物体检测方案，分别为早期融合方案和后期融合方案，并通过在 T 形路口和环岛等复杂驾驶情境中创建的协作数据集对两种方案及其混合策略进行了性能评估。评估结果表明，早期融合方案在检测精度上表现优异，能识别 95% 以上的物体，而后期融合方案在传输开销上表现更加经济实用。文章同时研究了传感器数量及配置如何影响系统性能。

    Dec, 2019

  • RCooper: 适用于路边合作感知的真实世界大规模数据集

    道路边缘感知越来越受到重视，通过道路合作感知可以实现对交通区域的全面了解；然而，现有的道路边缘感知方法只关注单一基础设施传感器系统，无法覆盖交通区域的全面感知，因此需要道路合作感知来实现对受限交通区域的实际感知。本研究提供了第一个真实世界的大规模道路合作感知数据集，包括检测和跟踪，证明了道路合作感知的有效性，并展示了进一步研究的方向。

    Mar, 2024

  • DAIR-V2X: 用于车路协作三维物体检测的大规模数据集

    发布了第一个用于车路协同自动驾驶的真实场景多模态多视角数据集 DAIR-V2X，其中包括 71254 帧 LiDAR 和摄像头帧，是解决车路协同 3D 物体检测问题的一个基准，并提出了延迟融合框架 TCLF。

    Apr, 2022

  • OPV2V: 一个用于车辆间通信感知的开放数据集和融合管道

    本文提出了第一个大规模的开放式模拟数据集，其中包含超过 70 个有趣的场景，11464 帧和 232913 标注的三维车辆边界框，以及一个用于评估多种信息融合策略的综合基准测试。同时，作者还提议了一种新的注意力中间融合管道，以聚合来自多个连接车辆的信息，证明该管道即使在大压缩率下也能实现优秀的性能。

    Sep, 2021

  • 可学习通信的自动驾驶系统协同式三维物体检测

    本文提出一种新的协同三维物体检测框架，通过利用空间分布式传感器所提供的信息来辅助自动驾驶系统中的感知精度，同时避免因事先的通信方案导致通信拥堵和 / 或性能受限的问题。通过两个复杂的驾驶场景的实验结果和带宽使用分析，证明了该方法可以在各种检测困难情况下节省通信和计算成本，并显著提高检测性能。

    May, 2022

  • 实用协作感知：异步和多智能体三维物体检测框架

    本文介绍一种新的通过点云序列检测车辆 3D 物体的方法，采用 LiDAR 传感器解决阴影效应与 HD 地图配合，并使用 V2X 通信技术提高车辆感知性能，同时优化带宽性能.

    Jul, 2023

  • COOPERNAUT：网络车辆协作感知的端到端驾驶

    近年来光学传感器和学习算法对于自主驾驶的发展有了显著提高，但今天的自主驾驶仍受到有限视线感知能力和数据驱动方法处理极端情况的脆弱性的阻碍。因此，使用车辆间通信协同感知被认为是一种增强自主驾驶的重要方式。本篇论文提出 COOPERNAUT，一种基于机器学习的协同感知驾驶模型。COOPERNAUT 可以通过车辆间的通信对紧凑型基于点的 LiDAR 信息进行编码并在危险情况下增强自主驾驶的性能。本文所开发的网络增强驾驶仿真框架，AutoCastSim，可以在典型的事故场景下进行驾驶模型实验，结果表明，在这种具有挑战性的驾驶情况下，使用 COOPERNAUT 的协同感知驾驶模型比自我中心驾驶模型有着 40％的平均成功率的提高，并且需要的带宽比之前的 V2VNet 小 5 倍。

    May, 2022