视觉 - 语言模型能从自然视频中识别分心驾驶员的行为

Jun, 2023

视觉 - 语言模型能从自然视频中识别分心驾驶员的行为

Vision-Language Models can Identify Distracted Driver Behavior from Naturalistic Videos

Md Zahid Hasan, Jiajing Chen, Jiyang Wang, Ameya Joshi, Senem Velipasalar...

TL;DR提出了一种基于 CLIP 的驾驶员活动识别方法，该方法可以从自然驾驶图像和视频中识别驾驶员分心行为，并具有零样本迁移和面向任务的微调的特点。

Abstract

Recognizing the activities, causing distraction, in real-world driving scenarios is critical for ensuring the safety and reliability of both drivers and pedestrians on the roadways. Conventional computer vision techniques are typically data-intensive and require a large volume of annot

distracted driving activity recognition computer vision clip zero-shot transfer

发现论文，激发创造

使用来自视觉 - 语言模型的通用表示进行驾驶员活动分类

使用视觉 - 语言模型的通用表征，在司机活动分类中利用语义表示延迟融合神经网络（SRLF-Net）的新方法，通过对多个视角的同步视频帧进行处理，对每个帧进行预训练的视觉 - 语言编码器进行编码，并融合生成类别概率预测，利用对比学习的视觉 - 语言表示，方法在自然驾驶行为识别数据集上得到了鲁棒的性能，证明视觉 - 语言表示为司机监控系统提供了准确性和可解释性。

Apr, 2024

通过模态和视角分析的实时驾驶员监控系统

该研究提出了一种实时检测驾驶人行为的新方法，通过研究不同的感知模态发现红外视频在检测中更具有信息量，并通过多分类技术扩展 DAD 数据集。

Oct, 2022

基于自监督学习框架和遮挡图像建模的新型驾驶员分神行为检测

本文介绍了一种基于自监督学习的用于驾驶员分心检测的新方法，该方法使用遮罩图像建模进行自监督学习，并利用 Swin Transformer 作为编码器以增强性能，最终使用各种数据增广策略加上最佳的随机遮罩策略来加强模型的识别和泛化能力，测试结果表明，该方法的准确率为 99.60％，接近先进的监督学习方法的出色表现。

Jun, 2023

运用时空关注机制与视觉变换器识别分心和疲劳驾驶

2021 年与 2020 年相比，车辆事故率上升 20％，其中 45％的车祸是由于疲劳和分心驾驶所致。这项研究使用计算机视觉设计了低成本、精度高且侵入性小的检测方法，探讨了使用视觉变换器来优于 3D-CNNs 的最新准确性，针对分心和疲劳驾驶分别训练了两个变压器。其中，分心的模型表现超越最先进的模型，达到 97.5％的准确度。建议未来的研究使用新的和更强大的模型来实现更高的准确性和效率，在现有数据集的基础上扩展到检测醉酒驾驶和道路愤怒，以创建全面的解决方案来防止交通事故。

Jul, 2022

使用 RGB-D 传感器进行驾驶员分心检测和识别

基于 Kinect 和计算机视觉技术，构建了一个有效的模块，用于检测驾驶员注意力分散和识别分散类型，每个子模块独立获得并可用于其他类型的推理，如疲劳检测，并可用于实际汽车系统。

Feb, 2015

使用机器学习改进驾驶员疲劳和注意力分散的自动检测

通过使用基于视觉和基于机器学习的方法，同时检测疲劳和注意力分散的行为，以提高智能车辆系统的驾驶行为监测能力并获得更准确和时间更短的结果。

Jan, 2024

预测驾驶员的注意力焦点：DR (eye) VE 项目

本文旨在预测驾驶员的注意力集中情况，提出了一种基于多分支深度架构的计算机视觉模型，集成了三种信息源：原始视频、动态和场景语义，并介绍了 DR (eye) VE，这是迄今为止最大的驾驶场景数据集，结果强调了跨驾驶员共享的注意力模式，可在人车交互和驾驶员注意力分析等多个应用方面受益。

May, 2017

通过卷积神经网络实时检测驾驶员注意力分散以增强道路安全

通过比较分析卷积神经网络结构，本研究旨在识别出最有效的实时检测驾驶员分心的模型，以提升车辆安全系统的能力，从而预防因不注意引发的事故。

May, 2024

儿童视频内容的视觉语言模型用于内容管理的潜力

该研究通过评估多种 CLIP 变种模型在儿童动画视频内容管理中的性能，展示了 Vanilla CLIP with Projection Layer 模型在提供更多上下文环境的内容管理提示方面优于以往工作的结果。研究结果表明，在内容管理提示中加入更多上下文对于卡通视频是必要的，因为它们在 CLIP 训练数据中的表示不足。

Dec, 2023

PoseViNet: 使用多视角姿态估计和视觉变换器的分心驾驶员动作识别框架

该研究引入了一种利用多视角驾驶员行为图像检测驾驶员分心的新方法，该方法基于姿态估计和动作推理的视觉变换器框架，名为 PoseViNet。通过将姿势信息添加到变换器中，使其更加专注于关键特征，从而更好地识别关键动作。通过与现有模型在两个不同的数据集上的比较，证明了 PoseViNet 的优越性。在具有挑战性的 SynDD1 数据集上，PoseViNet 实现了 97.55％的验证准确率和 90.92％的测试准确率。

Dec, 2023