May, 2018

利用外貌和形状线索的 3D 凝视估计的循环卷积神经网络

PDF
TL;DR本论文使用多模态卷积神经网络在远程摄像机中完成了独立于人物和头部姿态的三维凝视估计。通过将人脸，眼睛区域和面部标志作为神经网络中的单个流来估计静态图像中的凝视。随后，利用凝视的动态特性，将所有帧的学习特征馈送到多到一循环模块，以预测最后一帧的三维凝视向量，其在多种头部姿态和凝视方向上获得了显著的改进。
发现论文，激发创造
  • 轻量级头部动作无关眼球追踪

    本文提出了一种新的基于卷积神经网络的远程注视跟踪方法，该方法通过转移学习、使用合成数据等技术来提高检测准确率并解决了头部姿态变化的问题。

    Apr, 2018

  • 基于外观的注视估计，使用深度神经网络增强的合成图像

    使用人工神经网络建立了一个模块化系统，通过对分别裁剪的眼睛进行估计，利用人脸检测和头部姿势估计组件，无需特殊硬件或红外滤光片，仅使用内置 RGB 相机进行人眼注视估计，通过包含大量合成数据集在训练模型中，达到了比相关方法更高的准确度。

    Nov, 2023

  • GazeOnce: 实时多人凝视估计

    本研究提出一种新的单阶段端到端注视估计方法，可同时预测图像中多个面孔（>10）的注视方向，并使用 MPSGaze 数据集验证了该方法的有效性和易用性，为实时应用提供支持。

    Apr, 2022

  • 使用卷积神经网络进行实时眼球注视方向分类

    提出实时框架及卷积神经网络用于分类人眼凝视方向和评估眼部访问线索，并使用改进的 Viola-Jones 算法检测人脸，通过几何关系和面部特征点得到眼部区域，并进行逐帧测试以获得平均帧速率 24fps，结果显示其优于现有方法。

    May, 2016

  • 面部表情全貌外观定位注视估计

    提出了一种全称人脸输入的外观识别方法，使用卷积神经网络对面部图像进行编码，应用于 2D 和 3D 注视估计中实现了重大的性能提升，对于极端头部姿势尤其明显。

    Nov, 2016

  • 半监督对比回归用于眼球注视估计

    通过使用半监督对比学习框架，本文提出了一种新的对比损失范式，从而实现了基于注视方向的估计，该框架在使用少量带有标签的注视数据集时，可以找到泛化解决方案，即使对于未见过的人脸图像也能有良好的性能表现，与其他用于注视估计的最先进对比学习技术相比，我们的对比回归框架表现良好。

    Aug, 2023

  • 基于学习的新颖视角合成的全脸外貌的基于 3D 凝视估计

    本研究提出了基于单目三维面部重建的合成凝视估计训练数据的新方法，利用投影匹配过程，配合掩码引导凝视估计模型和数据增强策略，显著提高了在具有非重叠凝视分布的跨数据集环境下的估计性能。

    Jan, 2022

  • 外观为基础的凝视估计的架构和感受野研究

    通过调整 ResNet 结构的几个简单参数，我们在三个常用数据集上实现了目光估计任务的最先进性能，其中 ETH-XGaze 上的误差为 3.64，MPIIFaceGaze 上的误差为 4.50，Gaze360 上的误差为 9.13。

    Aug, 2023

  • 深度图像注视估计

    介绍了一种专门设计用于单眼输入的注视估计任务的新型深度神经网络架构，通过回归中间图像表示来简化三维注视方向估计任务，定量和定性结果表明该方法比现有技术实现了更高的精度，且对视线、头部姿势和图像质量的变化具有鲁棒性。

    Jul, 2018

  • 使用扩张卷积进行基于外观的凝视估计

    通过采用扩张卷积来提取高分辨率特征，以改善眼睛图像在显著变化下的精确度，我们提出了 Dilated-Net 模型，它在两个 Gaze 估计数据集上都取得了最先进的结果，相比不使用扩张卷积的类似网络获得了显著提高（高达 20.8%）。

    Mar, 2019