Nov, 2023

利用计算机视觉从驾驶员的角度评估户外广告的重要性

PDF
TL;DR通过评估司机视角下的路边广告牌的重要性，本研究提出了一种评估路边广告牌重要性的流程。研究人员收集并注释了一个新的 BillboardLamac 数据集，其中包括由佩戴眼动仪的司机沿预定路径驾驶期间拍摄的 8 个视频。该数据集包括了 154 个唯一标识和 155,000 个边界框的广告牌注释，以及眼球注视数据。通过将不同的目标跟踪方法与 YOLOv8 检测器结合使用，我们评估了识别路边广告牌的最佳方法，其在 BillboardLamac 上实现了 38.5 的 HOTA。此外，我们训练了一个随机森林分类器，根据司机注视的持续时间将广告牌分为三类，达到了 75.8％的测试准确率。对训练好的分类器的分析表明，广告牌的可见持续时间、显著性和尺寸是评估广告牌重要性时最有影响的特征。
outdoor advertisingroadside billboardsdriver distractionbillboard datasetbillboard evaluation
发现论文，激发创造
  • 自主安全驾驶中的显著标志检测：通过全视觉上下文进行推理的人工智能

    该研究通过定义交通信号关注度属性，构建了包含该属性注释的第一个交通信号数据集 LAVA Salient Signs Dataset，并使用定制的关注度损失函数 Salience-Sensitive Focal Loss 训练变形 DETR 目标检测模型，以强调更好的关注度表现，结果表明，使用 Salience-Sensitive Focal Loss 训练的模型较未使用该训练方式的模型，在检测关注度高信号和所有信号的召回率方面表现更好，并且对于关注度高信号与所有信号的性能差距最大。

    Jan, 2023

  • 驾驶员注意力跟踪和分析

    我们提出了一种使用安装在车辆挡风玻璃和仪表盘上的普通摄像头来估计驾驶员凝视点的新方法。该方法通过开发一种卷积网络来同时分析场景图像和驾驶员面部图像，其中包含一个相机校准模块，可以计算表示驾驶员和摄像头系统之间空间配置的嵌入向量，该模块改善了网络的性能并可以进行端到端的联合训练。我们还引入了一种大规模的驾驶数据集，其中包含了真实驾驶情景的图像以及驾驶员面部和凝视数据，对该数据集的实验表明，所提出的方法优于各种基准方法，均方误差为 29.69 像素，相对于场景摄像头的 $1280 {imes} 720$ 分辨率而言，误差较小。

    Apr, 2024

  • 真实交通标志变化对 YOLOv7 目标识别模型的影响

    研究交通标志改变对物体识别模型的影响，发现在不太可能的条件下暴露于修改的交通标志下，物体识别模型的准确性显著降低。这项研究强调了提高物体检测模型在现实场景中的鲁棒性的重要性，需要进一步研究来提高它们的准确性和可靠性。

    May, 2023

  • 通过模态和视角分析的实时驾驶员监控系统

    该研究提出了一种实时检测驾驶人行为的新方法，通过研究不同的感知模态发现红外视频在检测中更具有信息量，并通过多分类技术扩展 DAD 数据集。

    Oct, 2022

  • 路面行驶视频中以目标为导向的物体重要性估计

    本文针对车载自动驾驶视觉场景中的对象重要性评估问题，提出了一种新的基于视觉动态和驾驶目标的对象重要性估计框架，并通过实际交通路口数据集及人工标注数据对该框架进行了验证评估。同时，本文还探讨了使用对象重要性进行驾驶控制预测的可能性，并证明了该方法可以有效提升车辆的刹车预测准确性。

    May, 2019

  • 低质量夜晚图像中的自动招牌识别

    通过应用改进的 MIRNet 模型和 Yolov4 模型，本文解决了低光、噪声和模糊条件下交通标志识别的挑战，并在 GTSRB 数据集上获得了 96.75% 的整体 [email protected]，对于广泛类别的 GTSDB 数据集达到了 100% 的 [email protected]，与最先进的方法相当。

    Aug, 2023

  • 包装中的品牌可见性：徽标检测、显著性图预测和徽标位置分析的深度学习方法

    本研究介绍了一种全面评估包装设计中品牌标志符关注度的框架，该框架包括使用 YOLOv8 进行标志符检测、使用新型显著性预测模型建模用户视觉关注度以及将标志符检测与显著性地图生成结合以提供全面的品牌关注度评分。通过比较与现有模型的标志符检测和显著性地图预测，结果显示了所提方法的优越性，并对品牌能见度相关的心理物理学假设进行了验证。研究在认知心理学、计算机视觉和市场营销的交叉领域取得了重要进展，为先进的以消费者为中心的包装设计铺平了道路。

    Mar, 2024

  • 高级驾驶辅助系统中的视觉显著性检测

    我们提出了一种结合司机困倦检测系统和基于显著性的场景理解流水线的智能系统，该系统在嵌入式平台上运行，并利用专用 3D 深度网络进行语义分割。我们还使用车辆方向盘上嵌入的创新生物传感器来监测驾驶员的困倦程度，并对收集到的驾驶员脉搏波信号进行分类，从而评估驾驶员的注意力水平。最后，我们将司机的注意力水平与基于显著性的场景分类进行比较，以评估整体安全水平。通过广泛的实验结果验证了该流水线的有效性。

    Jul, 2023

  • 用 YOLO 模型和迁移学习推进道路标志检测

    本文使用了改进的 YOLOv5 和 YOLOv8 模型，在不同照明条件下检测和分类不同的道路标志，实验结果表明，两个模型在不同训练设置下都能表现良好，其中 YOLOv8 模型的 MAP50 得分略高。这些发现为寻求可靠且适应性强的物体检测应用方案的从业人员提供了宝贵的见解。

    Jun, 2024

  • 视觉 - 语言模型能从自然视频中识别分心驾驶员的行为

    提出了一种基于 CLIP 的驾驶员活动识别方法，该方法可以从自然驾驶图像和视频中识别驾驶员分心行为，并具有零样本迁移和面向任务的微调的特点。

    Jun, 2023