基于外观的注视估计,使用深度神经网络增强的合成图像
本文基于深度学习方法综述了当前外貌为基础的凝视估计技术。介绍了数据预处理和后处理方法,将所有公开数据集进行了特征化,并设置了评估准则。本研究提供了参考,可供深度学习或未来凝视估计研究使用。
Apr, 2021
介绍了一种专门设计用于单眼输入的注视估计任务的新型深度神经网络架构,通过回归中间图像表示来简化三维注视方向估计任务,定量和定性结果表明该方法比现有技术实现了更高的精度,且对视线、头部姿势和图像质量的变化具有鲁棒性。
Jul, 2018
通过使用半监督对比学习框架,本文提出了一种新的对比损失范式,从而实现了基于注视方向的估计,该框架在使用少量带有标签的注视数据集时,可以找到泛化解决方案,即使对于未见过的人脸图像也能有良好的性能表现,与其他用于注视估计的最先进对比学习技术相比,我们的对比回归框架表现良好。
Aug, 2023
我们提出了 MPIIGaze,包括 213659 个人的实验数据,并对现有的三个数据集进行了广泛的评估,研究了目标视线范围、光照条件和面部外观变化等关键挑战,提出了第一种深度外观估计方法 GazeNet,并将平均误差从 13.9 度提高到 10.8 度,这是当前技术水平的改进。
Nov, 2017
本文针对外界复杂的实际应用场景下的视线估计问题,在自然、真实的使用环境中使用 MPIIGaze 数据集进行研究,并提出了一种多模态卷积神经网络的方法,通过跨数据集评估证明该方法显著优于现有的方法。我们还对三个最新数据集上的几种最先进的基于图像的凝视估计算法进行了细致评估,确认了外部环境变化对凝视估计的影响,为实际的实时视线估计研究提供了重要的参考。
Apr, 2015
本研究提出了基于单目三维面部重建的合成凝视估计训练数据的新方法,利用投影匹配过程,配合掩码引导凝视估计模型和数据增强策略,显著提高了在具有非重叠凝视分布的跨数据集环境下的估计性能。
Jan, 2022
探讨了利用机器学习技术进行眼部凝视估计的技术,论文中提出了在不受限制的场景下,通过使用眼部地标来预测凝视方向的方法,并讨论了采用合成数据进行眼部地标本地化训练的学习方法,并提出了使用该模型进行个性化凝视估计的方法。
Jul, 2022
本论文使用多模态卷积神经网络在远程摄像机中完成了独立于人物和头部姿态的三维凝视估计。通过将人脸,眼睛区域和面部标志作为神经网络中的单个流来估计静态图像中的凝视。随后,利用凝视的动态特性,将所有帧的学习特征馈送到多到一循环模块,以预测最后一帧的三维凝视向量,其在多种头部姿态和凝视方向上获得了显著的改进。
May, 2018
提出了一种全称人脸输入的外观识别方法,使用卷积神经网络对面部图像进行编码,应用于 2D 和 3D 注视估计中实现了重大的性能提升,对于极端头部姿势尤其明显。
Nov, 2016