ICCVJul, 2023

AIDE: 一种以视觉为驱动的多视角、多模态、多任务辅助驾驶数据集

PDF
TL;DR过去十年来，司机分心成为严重交通事故的一个重要原因。本文介绍了一个考虑车内外背景信息的辅助驾驶感知数据集（AIDE），该数据集通过三个特征实现了全面的驾驶员监测，包括驾驶员和场景的多视角设置、对面部、身体、姿势和手势进行多模态注释，以及四种用于驾驶理解的实用任务设计。通过广泛的方法，在三种基准框架上提供了对 AIDE 的实验基准。此外，介绍了两种融合策略，以深入研究学习有效的多流 / 模态表示的新见解。同时，还系统地调查了 AIDE 和基准中关键组件的重要性和合理性。项目链接见 https URL。
driver distractionvision-driven driver monitoring systemsassistive driving perception datasetcontext informationdriver monitoring
发现论文，激发创造
  • AIDE：用于自动驾驶中目标检测的自动数据引擎

    我们提出使用视觉语言和大型语言模型的最新进展设计自动数据引擎（AIDE），以自动识别问题、高效筛选数据、通过自动标注改进模型，并通过生成多样化场景验证模型，从而实现模型的持续自我改进。我们还在自动驾驶数据集上建立了一个开放世界检测基准，全面评估各种学习范式，并展示了我们方法在减少成本的基础上具有卓越性能。

    Mar, 2024

  • aiMotive Dataset：具有远程感知的强健自动驾驶多模态数据集

    该研究介绍了一个多模态数据集，其中包括雷达、相机和激光雷达，以提高自主驾驶汽车的稳健性和长程感知并训练 3D 物体检测模型，并在 GitHub 上提供数据。

    Nov, 2022

  • DMD：一个用于驾驶员注意力和警觉分析的大规模多模态监测数据集

    本文介绍了司机监控数据集 (Driver Monitoring Dataset) 和 dBehaviourMD 数据集，并使用其训练一个高效、实时、CPU 平台可运行的司机行为识别系统，该系统对于实时反应和精度都有着较好的表现。

    Aug, 2020

  • AmodalSynthDrive：用于自动驾驶的合成异模感知数据集

    通过引入 AmodalSynthDrive 数据集，本研究解决了自动驾驶中因缺乏合适的数据集而无法利用该数据集的问题，并支持多种 amodal 场景理解任务，包括引入的增强空间理解的 amodal 深度估计。

    Sep, 2023

  • 自动驾驶中的协同感知数据集调查

    本研究综述了车辆对基础设施（V2I）、车辆对车辆（V2V）和车辆对一切（V2X）的协作感知数据集，重点关注用于自动驾驶车辆感知任务的大规模基准的最新发展。该论文系统地分析了各种数据集，比较了它们在多样性、传感器设置、质量、公开可用性和对下游任务的适用性等方面，同时突出了领域转移、传感器设置限制以及数据集多样性和可用性方面的关键挑战。强调了在数据共享和数据集创建方面解决隐私和安全问题的重要性。结论强调了需要全面、全球可访问的数据集以及技术和研究社区的协作努力来克服这些挑战，并充分发挥自动驾驶的潜力。

    Apr, 2024

  • IDD-X：用于密集和非结构化交通中自我相关重要物体定位和解释的多视图数据集

    智能车辆系统需要深入了解道路状况、周围实体和自我驾驶行为之间的相互作用，以实现安全高效的导航，而在发展中国家，交通情况往往密集且无序，道路使用者也异质性强。现有数据集主要针对结构化和稀疏的交通场景，未能捕捉到在这种环境中驾驶的复杂性。为了填补这一空白，我们提出了一个大规模的双视角驾驶视频数据集 IDD-X。通过提供 697K 个边界框、9K 个重要对象轨迹和每个视频 1-12 个对象，IDD-X 为多个重要道路对象提供了综合的自我驾驶相关注释，覆盖了 10 个类别和 19 个解释标签类别。该数据集还结合倒车影像信息，以提供对驾驶环境更全面的表征。我们还引入了专为多个重要对象定位和每个对象解释预测而设计的深度网络。总体而言，我们的数据集和推出的预测模型为研究道路状况和周围实体如何影响复杂交通情况下的驾驶行为奠定了基础。

    Apr, 2024

  • 通过模态和视角分析的实时驾驶员监控系统

    该研究提出了一种实时检测驾驶人行为的新方法，通过研究不同的感知模态发现红外视频在检测中更具有信息量，并通过多分类技术扩展 DAD 数据集。

    Oct, 2022

  • 预测驾驶员的注意力焦点：DR (eye) VE 项目

    本文旨在预测驾驶员的注意力集中情况，提出了一种基于多分支深度架构的计算机视觉模型，集成了三种信息源：原始视频、动态和场景语义，并介绍了 DR (eye) VE，这是迄今为止最大的驾驶场景数据集，结果强调了跨驾驶员共享的注意力模式，可在人车交互和驾驶员注意力分析等多个应用方面受益。

    May, 2017

  • 朝向驾驶场景理解：用于学习驾驶行为和因果推理的数据集

    介绍了 Honda Research Institute Driving Dataset（HDD），这是一个挑战性数据集，包括 104 小时的人类真实驾驶行为。同时还提出了一种新的注释方法来研究未剪辑数据序列中的驾驶行为，通过训练和测试基线算法，展示了所提出任务的可行性。

    Nov, 2018

  • 瞄准正确的物品：自动驾驶的引导性语义凝视

    该论文提出了一种基于场景语义和注视信息相结合的自动驾驶注意力预测方法 SAGE，并通过修改自动驾驶的关键预测参数，设计了一个完整的预测框架 SAGE-Net，实验证明 SAGE 在不增加计算量的情况下，可以优于现有技术 87.5% 的案例。

    Nov, 2019