Apr, 2024

深度定位：利用变点检测进行时序动作定位

PDF
TL;DR我们介绍了 DeepLocalization，这是一个创新的框架，专门用于实时监测驾驶行为的定位。通过利用先进的深度学习方法，我们旨在解决分散注意力驾驶这一导致道路事故的严重问题。我们的策略采用了两个方法：利用基于图的变点检测来确定行为的时间点，以及使用视频大型语言模型 (Video-LLM) 来准确分类活动。通过精心的提示工程，我们定制了视频大型语言模型，以处理驾驶活动的微妙之处，确保在稀疏数据情况下的分类效果。我们的框架经过轻量级优化，能够在消费级 GPU 上应用广泛。我们在 SynDD2 数据集上对我们的方法进行了严格测试，这是一个评估分散驾驶行为的复杂基准，结果显示出显着的性能，事件分类准确率为 57.5%，事件检测准确率为 51%。这些结果突显了 DeepLocalization 在准确识别不同驾驶行为及其时间发生的潜力，同时适用于有限的计算资源。
deeplocalizationdriver behaviordistracted drivinggraph-based change-point detectionvideo large language model
发现论文，激发创造
  • DeepSegmenter：用于检测未剪辑自然驾驶视频中异常的时间段定位

    本文提出了一种新的方法学框架 ——DeepSegmenter，该框架同时在单个框架中执行活动分割和分类，以识别驾驶员的异常驾驶行为，并在 2023 年 AI 城市挑战赛的实验验证数据中取得了 0.5426 的活动重叠得分，证明了该系统的有效性、高效性和稳健性。

    Apr, 2023

  • 密度引导的标签平滑用于驾驶动作的时空定位

    提出了一种基于视频动作识别网络的时间定位方法，通过分析边界视频段和多个摄像头视角的信息，实现了对驾驶行为的准确定位和场景级别预测。

    Mar, 2024

  • 基于 Transformer 的 2D 姿势和时空嵌入融合的分心驾驶操作识别

    该研究旨在通过将视频动作识别和 2D 人体姿势估计网络结合为一个模型，改善时间定位和分类准确性表现。最终，通过从不同的摄像头视角获取信息并消除误报，该模型在 2023 年 NVIDIA AI 城市挑战的自然驾驶行为识别中表现出色，实现了优化的区域覆盖得分 0.5079。

    Mar, 2024

  • DA4AD：面向自主驾驶的端到端深度注意力视觉定位

    本文提出了一种基于深度注意力感知特征的视觉定位框架，可在自动驾驶中实现厘米级别的定位精度。通过使用新型端到端的深度神经网络，利用深度注意机制寻找显著、稳定性强的特征，以建立强鲁棒性的匹配，并成功估计高精度的相机姿态。经过大量的实验验证，证明了我们的方法在各种挑战性场景下，都能够达到非常具有竞争力的定位精度，这为未来自动驾驶的低成本定位解决方案提供了新的可能性。

    Mar, 2020

  • 视觉 - 语言模型能从自然视频中识别分心驾驶员的行为

    提出了一种基于 CLIP 的驾驶员活动识别方法，该方法可以从自然驾驶图像和视频中识别驾驶员分心行为，并具有零样本迁移和面向任务的微调的特点。

    Jun, 2023

  • 深度学习在交通安全分析领域的应用综述

    本文探讨用于交通视频分析的深度学习方法，着重强调自动驾驶车辆和人类驾驶车辆的行驶安全。提出一个典型的处理流程，可以通过提取操作安全指标和提供通用提示和指南来理解和解释交通视频。主要包括视频增强、视频稳定、语义和事件分割、目标检测和分类、轨迹提取、速度估计、事件分析、建模和异常检测等几个步骤。重点在于选择最佳步骤并提供缺少模块的新设计来引导交通分析师开发他们自己的自定义处理框架。还回顾了现有的开源工具和公共数据集，以帮助训练深度学习模型。此外，还调查了与驾驶员认知评估、基于众包的监测系统、路边基础设施中的边缘计算、配备自动驾驶系统的汽车等相关的研究领域的联系和缺失方面。最后，回顾了交通监控系统的商业实施、未来展望以及广泛使用此类系统所面临的开放性问题和挑战。

    Mar, 2022

  • 基于时间提案演化的精准时间动作定位

    提出了一个基于三阶段框架的行动定位方法，包括一个 Actionness 神经网络来生成初始提议，一个 Refinement 网络来进行边界调整，以及一个 Localization 网络进行精细定位回归。在 THUMOS14 基准测试中表现优异，尤其是在高 IoU 阈值下的精确定位方面表现出色，mAP@IoU=0.5 达到 34.2%。

    Apr, 2018

  • 通过模态和视角分析的实时驾驶员监控系统

    该研究提出了一种实时检测驾驶人行为的新方法，通过研究不同的感知模态发现红外视频在检测中更具有信息量，并通过多分类技术扩展 DAD 数据集。

    Oct, 2022

  • 利用动作识别网络进行车道变更分类与预测

    利用采集的视频数据，我们提出了一个包含两个行动识别方法的端到端框架，用于识别车道变更，并且在 PREVENTION 数据集上表现最佳，表明行动识别模型可以有效地提取车道变更动作；该论文还提出了一种更好地提取运动线索的方法。

    Aug, 2022

  • 使用多阶段 CNN 在未修剪的视频中进行时间动作定位

    本研究提出了一种基于三种分段 3D 卷积神经网络的方法，用于解决未经修剪的长视频中的时间动作定位问题，其中提出网络用于识别可能包含动作的候选段，分类网络以一对多动作分类模型进行学习以作为定位网络的初始化，用于定位每个动作实例。

    Jan, 2016