CVPRMar, 2019

nuScenes：自动驾驶的多模态数据集

PDF
TL;DR本文介绍了 nuTonomy 场景数据集，其中包含了自动驾驶车辆所有的传感器：6 个相机，5 个雷达和 1 个激光雷达，每个场景长达 20 秒，并标注了 23 个类别和 8 个属性的三维边界框。同时，定义了新的 3D 检测和跟踪指标，并提供了激光雷达和基于图像的检测和跟踪的基线。
autonomous vehicleobject detectionrange sensorsmachine learningnutonomy scenes
发现论文，激发创造
  • Panoptic nuScenes：LiDAR 全图分割和跟踪的大规模基准测试

    介绍了扩展了 nuScenes 数据集的大规模全景 nuScenes 基准数据集，以便对动态城市环境的全景场景理解方法进行研究和评估，同时提出了各种分割和跟踪任务的强基线方法，并提出了面向实例的新型 PAT 指标，解决了现有指标的局限性。

    Sep, 2021

  • 自动驾驶一百万场景: ONCE 数据集

    本文介绍了基于 ONCE (One millioN sCenEs) 数据集的 3D 物体检测，该数据集包含 1 百万个激光雷达场景和 7 百万对应的相机图像，以及对使用自我监督和半监督方法的基准测试和性能分析。

    Jun, 2021

  • NuScenes-QA: 一个针对自主驾驶场景的多模态视觉问答基准测试

    我们介绍了一个新颖的视觉问答（VQA）任务，旨在回答基于街景线索的自然语言问题，在自动驾驶情境下。我们提出了 NuScenes-QA，这是第一个针对自动驾驶场景下的 VQA 任务的基准，包括 34K 个视觉场景和 460K 个问题 - 答案对。我们利用现有的 3D 检测注释生成场景图，并手动设计问题模板。这个基准是一个平衡的大规模基准，具有多种问题格式。

    May, 2023

  • aiMotive Dataset：具有远程感知的强健自动驾驶多模态数据集

    该研究介绍了一个多模态数据集，其中包括雷达、相机和激光雷达，以提高自主驾驶汽车的稳健性和长程感知并训练 3D 物体检测模型，并在 GitHub 上提供数据。

    Nov, 2022

  • Cityscapes 3D: 面向 9 自由度车辆检测的数据集和基准

    该研究提出一种基于单目 RGB 图像的三维车辆检测方法，为此创建了 Cityscapes 3D 数据集，包含了所有类型车辆的三维标注信息，使得与基于 lidar 的方法相比具有更高效率和更大范围的标注信息。此外，研究将 2D 实例分割与 3D 包围盒成对提供，以便多任务学习。这对自动驾驶技术有着很重要的意义。

    Jun, 2020

  • 自动驾驶中感知的可扩展性：Waymo 开放数据集

    该研究介绍了一种新的大规模、高质量、多样化的自动驾驶数据集，其中包含了各种城市和郊区地理环境中的 1150 个场景，数据标注为 2D 和 3D 框，而 2D 和 3D 检测和跟踪任务的基线也得到了提供。

    Dec, 2019

  • SemanticKITTI: 一个用于 LiDAR 序列的语义场景理解数据集

    本文提出了一个基于汽车激光雷达的大型数据集，用于推动基于激光的语义分割研究。作者提出了三项基于该数据集的基准任务，包括使用单个扫描和使用多个过去扫描的语义分割，以及需要预测未来语义场景的语义场景预测。作者提供了基线实验，并表明需要更复杂的模型才能有效处理这些任务。该数据集不仅为更先进的方法的开发打开了大门，而且还提供了丰富的数据来调查新的研究方向。

    Apr, 2019

  • SkyScenes: 用于航空场景理解的合成数据集

    使用从无人机 (UAV) 角度捕获的繁密注释的航拍图像，我们创建了一个综合性的合成数据集 SkyScenes，以全面展示在不同布局（城市和农村地图）、天气条件、时间、俯仰角和海拔高度上的多样性，具有相应的语义、实例和深度注释。通过我们在 SkyScenes 数据集上的实验，我们证明：（1）在 SkyScenes 上训练的模型对不同的实际情境具有很好的泛化性能，（2）将真实图像的训练与 SkyScenes 数据相结合可以提高实际表现，（3）SkyScenes 的可控变化可以揭示模型对视点条件变化的响应方式，（4）引入额外的传感器模态（深度）可提高航拍场景理解能力。

    Dec, 2023

  • PandaSet：自动驾驶高级传感器套件数据集

    介绍了 PandaSet 数据集，包含了使用多种 LiDAR 和摄像头采集的适用于自动驾驶对象检测和语义分割的高质量数据。

    Dec, 2021

  • MUSES：驾驶不确定性条件下的多传感器语义感知数据集

    在自动驾驶汽车中实现第五级驾驶自动化需要一个强大的语义视觉感知系统，它能够解析来自不同传感器的数据，并适应多种条件。为了解决现有语义感知数据集中通常缺乏自动驾驶汽车中常用的重要非相机模式，或者未能利用这些模式来帮助和改善具有挑战性条件下的语义注释的问题，我们引入了 MUSES，即用于在恶劣条件下以增加的不确定性驾驶的多传感器语义感知数据集。MUSES 包括在多样化的天气和照明条件下捕获的 2500 张图像的同步多模态记录，并具有 2D 全景注释。该数据集整合了帧相机、激光雷达、雷达、事件相机和 IMU/GNSS 传感器。我们的新型两阶段全景注释协议捕捉了真实值中的类别级别和实例级别的不确定性，引入了我们的新任务 —— 不确定性感知全景分割，并同时提供标准的语义分割和全景分割。MUSES 在多样的视觉条件下既对训练有效又具有挑战性，为多模态和不确定性感知中的研究开辟了新的途径。我们的数据集和基准将公开提供。

    Jan, 2024