我们提出了 MPIIGaze,包括 213659 个人的实验数据,并对现有的三个数据集进行了广泛的评估,研究了目标视线范围、光照条件和面部外观变化等关键挑战,提出了第一种深度外观估计方法 GazeNet,并将平均误差从 13.9 度提高到 10.8 度,这是当前技术水平的改进。
Nov, 2017
本论文使用多模态卷积神经网络在远程摄像机中完成了独立于人物和头部姿态的三维凝视估计。通过将人脸,眼睛区域和面部标志作为神经网络中的单个流来估计静态图像中的凝视。随后,利用凝视的动态特性,将所有帧的学习特征馈送到多到一循环模块,以预测最后一帧的三维凝视向量,其在多种头部姿态和凝视方向上获得了显著的改进。
May, 2018
本文提出了一种基于单个姿态估计模型采集的面部关键点的相对位置来估计个体注视方向的神经网络回归器,结合目标遮挡情况下的置信度门控单元,实现了对复杂辅助生活环境中居民与周围物体互动的自动推理;实验结果表明,该模型与数据集特定的复杂基线模型相媲美。
Sep, 2019
使用人工神经网络建立了一个模块化系统,通过对分别裁剪的眼睛进行估计,利用人脸检测和头部姿势估计组件,无需特殊硬件或红外滤光片,仅使用内置 RGB 相机进行人眼注视估计,通过包含大量合成数据集在训练模型中,达到了比相关方法更高的准确度。
Nov, 2023
本文针对外界复杂的实际应用场景下的视线估计问题,在自然、真实的使用环境中使用 MPIIGaze 数据集进行研究,并提出了一种多模态卷积神经网络的方法,通过跨数据集评估证明该方法显著优于现有的方法。我们还对三个最新数据集上的几种最先进的基于图像的凝视估计算法进行了细致评估,确认了外部环境变化对凝视估计的影响,为实际的实时视线估计研究提供了重要的参考。
Apr, 2015
本文研究多人姿态估计问题,提出了一种基于多视图系统和深度学习的方法,通过使用图神经网络模型预测场景中不同人之间的视角对应关系,并使用多层感知器模型将 2D 点转换为每个人的 3D 姿态。该模型采用自监督学习方式进行训练,从而避免了对大规模 3D 数据集的依赖。
Dec, 2022
本文介绍一种用于改进图像互相注视检测性能的简单有效的方法:在训练期间使用辅助的 3D 凝视估计任务,并通过共享头部图像编码器来实现更好的特征学习,实验证明此方法显著提高了检测性能。
Oct, 2020
介绍了一种专门设计用于单眼输入的注视估计任务的新型深度神经网络架构,通过回归中间图像表示来简化三维注视方向估计任务,定量和定性结果表明该方法比现有技术实现了更高的精度,且对视线、头部姿势和图像质量的变化具有鲁棒性。
Jul, 2018
本文提出了一种基于人类凝视追踪思路的两阶段解决方案,集成了神经网络和数据集,有效地预测并追踪目标人物的目光方向,且经过大量实验证明,该方案相对于现有解决方案有明显优势。
Jul, 2019
本研究提出了基于单目三维面部重建的合成凝视估计训练数据的新方法,利用投影匹配过程,配合掩码引导凝视估计模型和数据增强策略,显著提高了在具有非重叠凝视分布的跨数据集环境下的估计性能。
Jan, 2022