我们提出了一种使用安装在车辆挡风玻璃和仪表盘上的普通摄像头来估计驾驶员凝视点的新方法。该方法通过开发一种卷积网络来同时分析场景图像和驾驶员面部图像,其中包含一个相机校准模块,可以计算表示驾驶员和摄像头系统之间空间配置的嵌入向量,该模块改善了网络的性能并可以进行端到端的联合训练。我们还引入了一种大规模的驾驶数据集,其中包含了真实驾驶情景的图像以及驾驶员面部和凝视数据,对该数据集的实验表明,所提出的方法优于各种基准方法,均方误差为 29.69 像素,相对于场景摄像头的 $1280 {imes} 720$ 分辨率而言,误差较小。
Apr, 2024
该研究使用 IVGaze 数据集,提出了一种车内注视估计方法并引入了新的注视金字塔变换器和双流注视金字塔变换器,展示了目前最先进的表现,并探索了注视区域分类的新策略。
Mar, 2024
本文对移动交互式系统中利用凝视作为单一或补充交互模式的最新技术和应用进行全面综述,并重点介绍了凝视捕捉传感器,凝视估计工作流,深度学习技术以及凝视交互应用等关键领域。
Jun, 2023
本文基于深度学习方法综述了当前外貌为基础的凝视估计技术。介绍了数据预处理和后处理方法,将所有公开数据集进行了特征化,并设置了评估准则。本研究提供了参考,可供深度学习或未来凝视估计研究使用。
Apr, 2021
驾驶员注意力、注视预测、任务和环境、显著性和 DR (eye) VE 数据集是该研究的主要关键词和研究领域。
Oct, 2023
本文旨在预测驾驶员的注意力集中情况,提出了一种基于多分支深度架构的计算机视觉模型,集成了三种信息源:原始视频、动态和场景语义,并介绍了 DR (eye) VE,这是迄今为止最大的驾驶场景数据集,结果强调了跨驾驶员共享的注意力模式,可在人车交互和驾驶员注意力分析等多个应用方面受益。
May, 2017
探讨了利用机器学习技术进行眼部凝视估计的技术,论文中提出了在不受限制的场景下,通过使用眼部地标来预测凝视方向的方法,并讨论了采用合成数据进行眼部地标本地化训练的学习方法,并提出了使用该模型进行个性化凝视估计的方法。
Jul, 2022
本研究评估了最先进的基于外观的凝视估计,涉及不同的感应距离,室内和室外的交互场景,带和不带眼镜的用户,并讨论了其在具有重要凝视为基础的应用程序中的应用,因此,我们呈现了 “OpenGaze”,这是外观凝视估计和交互的第一个软件工具包,以使其在人机交互中广泛使用。
Jan, 2019
本文介绍了两个嵌入在驾驶模拟器中的凝视区域估计模块,一个使用 3D Kinect 设备,另一个使用虚拟现实 Oculus Rift 设备。通过实验发现,Oculus Rift 是用于凝视估计的最佳硬件,其凝视区域估计方法表现最佳,准确度达到 97.94%。这一凝视信息丰富了驾驶模拟器数据,使得除了提供虚拟现实体验外,还能实现多模态驾驶表现分析。
Feb, 2024
通过使用半监督对比学习框架,本文提出了一种新的对比损失范式,从而实现了基于注视方向的估计,该框架在使用少量带有标签的注视数据集时,可以找到泛化解决方案,即使对于未见过的人脸图像也能有良好的性能表现,与其他用于注视估计的最先进对比学习技术相比,我们的对比回归框架表现良好。
Aug, 2023