CVPRApr, 2023

使用遮蔽的多头自注意力的强健多视角多模式驾驶员监测系统

PDF
TL;DR本文提出了一种基于多头自我注意力的多视角多模式驾驶员监控系统和 GPU 友好型监督对比学习框架 SuMoCo，用于对驾驶员行为进行多类别识别，在 DAD 数据集上的实验证明，所提出的 MHSA 融合方法（AUC-ROC：97.0％）优于所有基线和先前的方法，通过使用补丁屏蔽训练后的 MHSA 能够提高其抗模态 / 视角崩溃能力。
driver monitoring systemsmultiview multimodalself-attentioncontrastive learningdad dataset
发现论文，激发创造
  • DMD：一个用于驾驶员注意力和警觉分析的大规模多模态监测数据集

    本文介绍了司机监控数据集 (Driver Monitoring Dataset) 和 dBehaviourMD 数据集，并使用其训练一个高效、实时、CPU 平台可运行的司机行为识别系统，该系统对于实时反应和精度都有着较好的表现。

    Aug, 2020

  • M2DA：多模态融合 Transformer 结合驾驶员注意力用于自动驾驶

    提出了一种多模态融合变压器，结合驾驶员注意力用于自动驾驶，通过 Lidar-Vision-Attention-based Fusion 模块更好地融合多模态数据，并实现不同模态之间更高的对齐，同时结合驾驶员的注意力，赋予自动驾驶车辆类似于人类的场景理解能力，准确识别复杂场景中的关键区域，确保安全。在 CARLA 模拟器上进行实验，以较少的数据在闭环基准测试中取得了最先进的性能。

    Mar, 2024

  • 多关注融合的疲劳驾驶检测模型

    司机疲劳驾驶是交通事故的主要原因之一，通过引入多关注融合疲劳驾驶检测模型（MAF），可以显著提升分类性能，特别是在部分面部遮挡和低光照条件下，从而在提高算法整体稳健性方面发挥更大作用。通过在夜间和白天的光照条件下采集真实世界的数据集，我们进行了一系列综合实验，结果显示我们提出的模型达到了 96.8% 的司机疲劳检测准确率。

    Dec, 2023

  • 基于自监督学习框架和遮挡图像建模的新型驾驶员分神行为检测

    本文介绍了一种基于自监督学习的用于驾驶员分心检测的新方法，该方法使用遮罩图像建模进行自监督学习，并利用 Swin Transformer 作为编码器以增强性能，最终使用各种数据增广策略加上最佳的随机遮罩策略来加强模型的识别和泛化能力，测试结果表明，该方法的准确率为 99.60％，接近先进的监督学习方法的出色表现。

    Jun, 2023

  • M$^2$DAR：基于 Vision Transformer 的多视角多尺度驾驶员动作识别

    提出了一个名为 M2DAR 的多视角、多尺度框架，利用计算机视觉技术实现自然驾驶动作识别和定位来保障交通安全，特别关注于检测分心驾驶行为，其核心特征在于一个具有权重共享、多尺度 Transformer-based 动作识别网络，并提出了一个新的选举算法从多个视角综合整合和选择动作识别模块的初步结果，实验表明该方法在第 7 届 AI City Challenge Track 3 数据集上实现了 0.5921 的重叠分数。

    May, 2023

  • 通过模态和视角分析的实时驾驶员监控系统

    该研究提出了一种实时检测驾驶人行为的新方法，通过研究不同的感知模态发现红外视频在检测中更具有信息量，并通过多分类技术扩展 DAD 数据集。

    Oct, 2022

  • MaskFuser: 联合多模态符号化的遮罩融合用于端到端自动驾驶

    提出了一种名为 MaskFuser 的多模态驾驶框架，在统一的语义特征空间中将各种模态标记化，并为进一步行为克隆提供联合表示。通过引入跨模态的掩蔽自编码器训练，增强了融合表示。MaskFuser 在伤害感知输入下提高了驾驶稳定性，并在驾驶得分方面表现优于以往的基线模型。

    May, 2024

  • 基于车厢监控的双特征偏移的多模态动作识别

    基于双特征位移的新型高效多模态驾驶员动作识别方法 DFS，通过模态特征相互作用和时间帧之间的特征位移实现跨模态综合特征，共享多个模态中的特征提取阶段，以学习常见模式并提高模型效率，在 Drive&Act 数据集上验证了 DFS 模型的有效性和优良性能。

    Jan, 2024

  • AMMUNet: 遥感图像分割的多尺度注意力地图融合

    AMMUNet 是一种基于 UNet 的框架，通过多尺度注意力图合并实现全局建模，用于精确的遥感语义分割，并取得了优越的性能。

    Apr, 2024

  • 揭示自我监督在多视角多人关联与跟踪中的作用

    多视角多人联合追踪和跟踪（MvMHAT）是用于多人场景视频监视的新而重要的问题，旨在在每个视图中随时间追踪一群人，并在同一时间识别不同视图中的同一人，我们提出了一种自监督学习感知的端到端网络，利用了空间 - 时间自一致性的特性来解决这个问题，并且构建了两个新的大规模数据集来促进该领域的研究。

    Jan, 2024