Apr, 2015

野外环境中基于外貌特征的注视估计

PDF
TL;DR本文针对外界复杂的实际应用场景下的视线估计问题，在自然、真实的使用环境中使用 MPIIGaze 数据集进行研究，并提出了一种多模态卷积神经网络的方法，通过跨数据集评估证明该方法显著优于现有的方法。我们还对三个最新数据集上的几种最先进的基于图像的凝视估计算法进行了细致评估，确认了外部环境变化对凝视估计的影响，为实际的实时视线估计研究提供了重要的参考。
发现论文，激发创造
  • MPIIGaze: 实际场景数据集与深度外貌取向估计

    我们提出了 MPIIGaze，包括 213659 个人的实验数据，并对现有的三个数据集进行了广泛的评估，研究了目标视线范围、光照条件和面部外观变化等关键挑战，提出了第一种深度外观估计方法 GazeNet，并将平均误差从 13.9 度提高到 10.8 度，这是当前技术水平的改进。

    Nov, 2017

  • 外貌为基础的方法的评估及其对凝视应用的影响

    本研究评估了最先进的基于外观的凝视估计，涉及不同的感应距离，室内和室外的交互场景，带和不带眼镜的用户，并讨论了其在具有重要凝视为基础的应用程序中的应用，因此，我们呈现了 “OpenGaze”，这是外观凝视估计和交互的第一个软件工具包，以使其在人机交互中广泛使用。

    Jan, 2019

  • 基于外貌的深度学习注视估计：综述和基准

    本文基于深度学习方法综述了当前外貌为基础的凝视估计技术。介绍了数据预处理和后处理方法，将所有公开数据集进行了特征化，并设置了评估准则。本研究提供了参考，可供深度学习或未来凝视估计研究使用。

    Apr, 2021

  • 基于外观的注视估计，使用深度神经网络增强的合成图像

    使用人工神经网络建立了一个模块化系统，通过对分别裁剪的眼睛进行估计，利用人脸检测和头部姿势估计组件，无需特殊硬件或红外滤光片，仅使用内置 RGB 相机进行人眼注视估计，通过包含大量合成数据集在训练模型中，达到了比相关方法更高的准确度。

    Nov, 2023

  • 面部表情全貌外观定位注视估计

    提出了一种全称人脸输入的外观识别方法，使用卷积神经网络对面部图像进行编码，应用于 2D 和 3D 注视估计中实现了重大的性能提升，对于极端头部姿势尤其明显。

    Nov, 2016

  • GazeOnce: 实时多人凝视估计

    本研究提出一种新的单阶段端到端注视估计方法，可同时预测图像中多个面孔（>10）的注视方向，并使用 MPSGaze 数据集验证了该方法的有效性和易用性，为实时应用提供支持。

    Apr, 2022

  • 使用扩张卷积进行基于外观的凝视估计

    通过采用扩张卷积来提取高分辨率特征，以改善眼睛图像在显著变化下的精确度，我们提出了 Dilated-Net 模型，它在两个 Gaze 估计数据集上都取得了最先进的结果，相比不使用扩张卷积的类似网络获得了显著提高（高达 20.8%）。

    Mar, 2019

  • 眼神追踪估计模型分析

    探讨了利用机器学习技术进行眼部凝视估计的技术，论文中提出了在不受限制的场景下，通过使用眼部地标来预测凝视方向的方法，并讨论了采用合成数据进行眼部地标本地化训练的学习方法，并提出了使用该模型进行个性化凝视估计的方法。

    Jul, 2022

  • 特定应用的半合成数据集增强用于凝视估计

    通过生成面部的纹理三维网格，并从特定位置和方向的虚拟相机渲染训练图像作为现有数据集的补充方式，可以在目标特定任务中取得更好的推广效果，平均减少了 47% 的注视角度误差。

    Oct, 2023

  • 外观为基础的凝视估计的架构和感受野研究

    通过调整 ResNet 结构的几个简单参数，我们在三个常用数据集上实现了目光估计任务的最先进性能，其中 ETH-XGaze 上的误差为 3.64，MPIIFaceGaze 上的误差为 4.50，Gaze360 上的误差为 9.13。

    Aug, 2023