视觉推理与驾驶危险预测相遇：问题形式化及数据集

Oct, 2023

视觉推理与驾驶危险预测相遇：问题形式化及数据集

Visual Abductive Reasoning Meets Driving Hazard Prediction: Problem Formulation and Dataset

Korawat Charoenpitaks, Van-Quang Nguyen, Masanori Suganuma, Masahiro Takahashi, Ryoma Niihara...

TL;DR本研究旨在通过借助汽车行车记录仪的单个图像，对驾驶中可能遇到的危险进行预测。为了开展这一不常研究的领域，我们创造了一个名为 DHPR 的数据集，其中包含 15K 个街景图像，每张图像都与车速、假设的危险描述和场景中的可见实体相关联。通过评估基线方法在数据集上的表现，我们发现仍存在问题，并讨论了未来的方向。本研究通过引入新的问题形式和数据集，为驾驶危险预测领域做出了贡献，让研究人员能够探索多模态人工智能在此领域的潜力。

Abstract

This paper addresses the problem of predicting hazards that drivers may encounter while driving a car. We formulate it as a task of anticipating impending accidents using a single input image captured by car dashcams. Unlike existing approaches to driving hazard prediction that rely on

driving hazard prediction visual abductive reasoning dhpr dataset baseline methods multi-modal ai

发现论文，激发创造

朝向驾驶场景理解：用于学习驾驶行为和因果推理的数据集

介绍了 Honda Research Institute Driving Dataset（HDD），这是一个挑战性数据集，包括 104 小时的人类真实驾驶行为。同时还提出了一种新的注释方法来研究未剪辑数据序列中的驾驶行为，通过训练和测试基线算法，展示了所提出任务的可行性。

Nov, 2018

DRIVE: 基于深度强化学习的事故预测与视觉解释

本文提出了一种基于深度强化的交通事故预测方法 DRIVE，通过模拟仪表盘观察环境中的视觉注意机制和使用奖励机制改进强化学习算法来提高决策能力，进而实现较高准确性的预测。

Jul, 2021

福尔摩斯事件：一个用于视觉拟合推理的数据集

本文提出了 Sherlock 数据集作为机器人推理能力测试的基础，并在此基础上对机器学习模型的推理能力以及人与机器的差距进行了研究和探讨，结果表明目前的最先进技术还有非常大的提升空间。

Feb, 2022

视觉诱导推理

本文提出了一种基于可视信息的机器智能推理任务及对应数据集 Visual Abductive Reasoning (VAR)，并基于 VAR 数据集设计了一个基于 causual-and-cascaded reasoning Transformer 模型的强基线模型 Reasoner，用于抽象观测到的信息并推测可能的假设，实验表明 Reasoner 的性能超过多个著名的视觉语言模型，但仍远不及人类表现。

Mar, 2022

DADA-2000: 驾驶员专注度能否预测驾驶事故？通过基准测试分析

本文提出了一个新的基于驾驶员目光追踪和车祸注释的视频基准测试集（DADA-2000），涵盖了 54 种不同类型的车祸，可以更全面地预测即将发生的事故。

Apr, 2019

用于语义视频分割的高速公路行驶数据集

介绍了语义视频数据集 Highway Driving dataset 和基于时间相关性的基线算法，提高了实时应用的语义分割效果。

Nov, 2020

第一人称视角视频的无监督交通事故检测

本文提出了一种基于未监督学习的方法，通过预测交通参与者未来位置并监测三种不同策略的预测准确度和一致性来检测仪表板安装的摄像头视频中的交通事故。实验结果表明，该方法优于最先进的方法。

Mar, 2019

安全驾驶感知中的归纳性自我视角事故视频理解

MM-AU 是一个多模态事故视频理解的新数据集，包含 11,727 个野外自视角事故视频，每个视频都有与其时间对齐的文本描述。我们注释了超过 2.23 百万个物体框和 58,650 个基于视频的事故原因对，涵盖了 58 个事故类别。MM-AU 支持各种事故理解任务，特别是多模态视频扩散，以理解安全驾驶的事故因果链。通过 MM-AU，我们提出了一种安全驾驶感知的 Abductive 事故视频理解框架 (AdVersa-SD)。AdVersa-SD 通过一种由 Abductive CLIP 模型驱动的对象中心视频扩散 (OAVD) 方法进行视频扩散。该模型通过对正常、几乎事故和事故帧与相应文本描述 (如事故原因、预防建议和事故类别) 的成对共现进行对比交互损失学习，以实现对原始帧背景内容进行修复的视频生成中强制实施因果区域学习，以找到特定事故的主要因果链。大量实验证实了 AdVersa-SD 的推理能力以及 OAVD 相对于最先进的扩散模型的优越性。此外，由于 AdVersa-SD 依赖于精确的物体和事故原因信息，我们还提供了仔细的物体检测和事故原因回答基准评估。

Mar, 2024

驾驶员异常检测：数据集与对比学习方法

本文提出了一种对比学习方法，通过一套视频基准测试集 (DAD dataset) 实现区分正常驾驶与异常行为，进而解决驾驶人员相关事故问题。该方法在 DAD 数据集上取得了 0.9673 的 AUC，显示对比学习方法在异常检测任务中的高效性。

Sep, 2020

Reason2Drive：面向自动驾驶的可解释和链式推理

提出了一个用于自动驾驶的新数据集 Reason2Drive，其中包含了 600K 个视频文本对，以促进对复杂驾驶环境中可解释推理的研究。基于该数据集进行实验评估各种现有的视觉语言模型，并通过开发一种有效的方法来提高模型的推理准确性。

Dec, 2023