Mar, 2019

使用扩张卷积进行基于外观的凝视估计

PDF
TL;DR通过采用扩张卷积来提取高分辨率特征，以改善眼睛图像在显著变化下的精确度，我们提出了 Dilated-Net 模型，它在两个 Gaze 估计数据集上都取得了最先进的结果，相比不使用扩张卷积的类似网络获得了显著提高（高达 20.8%）。
appearance-based gaze estimationdeep convolutional neural networkseye imagesdilated-convolutionsstate-of-the-art results
发现论文，激发创造
  • 外观为基础的凝视估计的架构和感受野研究

    通过调整 ResNet 结构的几个简单参数，我们在三个常用数据集上实现了目光估计任务的最先进性能，其中 ETH-XGaze 上的误差为 3.64，MPIIFaceGaze 上的误差为 4.50，Gaze360 上的误差为 9.13。

    Aug, 2023

  • 注视估计的微分方法

    本文介绍了一种基于差分方法的凝视估计技术，使用差分卷积神经网络直接预测同一受试者的两个眼睛输入图像之间的凝视差异，然后利用推断出的差异来预测新眼睛样本的凝视方向。实验结果表明，该方法即使只使用一个校准样本或在后续使用受试者特定的凝视适应方法时，也始终优于现有的方法。

    Apr, 2019

  • 基于外貌的深度学习注视估计：综述和基准

    本文基于深度学习方法综述了当前外貌为基础的凝视估计技术。介绍了数据预处理和后处理方法，将所有公开数据集进行了特征化，并设置了评估准则。本研究提供了参考，可供深度学习或未来凝视估计研究使用。

    Apr, 2021

  • 利用外貌和形状线索的 3D 凝视估计的循环卷积神经网络

    本论文使用多模态卷积神经网络在远程摄像机中完成了独立于人物和头部姿态的三维凝视估计。通过将人脸，眼睛区域和面部标志作为神经网络中的单个流来估计静态图像中的凝视。随后，利用凝视的动态特性，将所有帧的学习特征馈送到多到一循环模块，以预测最后一帧的三维凝视向量，其在多种头部姿态和凝视方向上获得了显著的改进。

    May, 2018

  • 基于外观的注视估计，使用深度神经网络增强的合成图像

    使用人工神经网络建立了一个模块化系统，通过对分别裁剪的眼睛进行估计，利用人脸检测和头部姿势估计组件，无需特殊硬件或红外滤光片，仅使用内置 RGB 相机进行人眼注视估计，通过包含大量合成数据集在训练模型中，达到了比相关方法更高的准确度。

    Nov, 2023

  • 一种适用于外观基准凝视估计的粗到细自适应网络

    本文提出了一种基于面部和眼睛图像的凝视估计方法，利用粗 - 细策略从面部图像中估计基本凝视方向，通过相应的眼部图像预测残差进行细化，引入 bi-gram 模型和注意力组件来适应性地获取细粒度特征，实现了 MPIIGaze 和 EyeDiap 数据集上的最优表现。

    Jan, 2020

  • 使用卷积神经网络进行实时眼球注视方向分类

    提出实时框架及卷积神经网络用于分类人眼凝视方向和评估眼部访问线索，并使用改进的 Viola-Jones 算法检测人脸，通过几何关系和面部特征点得到眼部区域，并进行逐帧测试以获得平均帧速率 24fps，结果显示其优于现有方法。

    May, 2016

  • 野外环境中基于外貌特征的注视估计

    本文针对外界复杂的实际应用场景下的视线估计问题，在自然、真实的使用环境中使用 MPIIGaze 数据集进行研究，并提出了一种多模态卷积神经网络的方法，通过跨数据集评估证明该方法显著优于现有的方法。我们还对三个最新数据集上的几种最先进的基于图像的凝视估计算法进行了细致评估，确认了外部环境变化对凝视估计的影响，为实际的实时视线估计研究提供了重要的参考。

    Apr, 2015

  • 深度图像注视估计

    介绍了一种专门设计用于单眼输入的注视估计任务的新型深度神经网络架构，通过回归中间图像表示来简化三维注视方向估计任务，定量和定性结果表明该方法比现有技术实现了更高的精度，且对视线、头部姿势和图像质量的变化具有鲁棒性。

    Jul, 2018

  • 面部表情全貌外观定位注视估计

    提出了一种全称人脸输入的外观识别方法，使用卷积神经网络对面部图像进行编码，应用于 2D 和 3D 注视估计中实现了重大的性能提升，对于极端头部姿势尤其明显。

    Nov, 2016