面部表情全貌外观定位注视估计
我们提出了MPIIGaze,包括213659个人的实验数据,并对现有的三个数据集进行了广泛的评估,研究了目标视线范围、光照条件和面部外观变化等关键挑战,提出了第一种深度外观估计方法GazeNet,并将平均误差从13.9度提高到10.8度,这是当前技术水平的改进。
Nov, 2017
通过采用扩张卷积来提取高分辨率特征,以改善眼睛图像在显著变化下的精确度,我们提出了Dilated-Net模型,它在两个Gaze估计数据集上都取得了最先进的结果,相比不使用扩张卷积的类似网络获得了显著提高(高达20.8%)。
Mar, 2019
本文介绍了一种基于差分方法的凝视估计技术,使用差分卷积神经网络直接预测同一受试者的两个眼睛输入图像之间的凝视差异,然后利用推断出的差异来预测新眼睛样本的凝视方向。实验结果表明,该方法即使只使用一个校准样本或在后续使用受试者特定的凝视适应方法时,也始终优于现有的方法。
Apr, 2019
本文基于深度学习方法综述了当前外貌为基础的凝视估计技术。介绍了数据预处理和后处理方法,将所有公开数据集进行了特征化,并设置了评估准则。本研究提供了参考,可供深度学习或未来凝视估计研究使用。
Apr, 2021
本研究提出了基于单目三维面部重建的合成凝视估计训练数据的新方法,利用投影匹配过程,配合掩码引导凝视估计模型和数据增强策略,显著提高了在具有非重叠凝视分布的跨数据集环境下的估计性能。
Jan, 2022
本研究提出了一个训练数据合成和注视估计模型的有效训练流程,用于无监督域自适应,包括使用单幅图像3D重建来扩展源域中头部姿势的范围,提出了一个自编码器网络来分离与注视相关的特征,并引入背景增强一致性损失来利用合成源域的特点,在多个目标域上进一步提高了性能。
May, 2023
通过调整 ResNet 结构的几个简单参数,我们在三个常用数据集上实现了目光估计任务的最先进性能,其中 ETH-XGaze 上的误差为 3.64,MPIIFaceGaze 上的误差为 4.50,Gaze360 上的误差为 9.13。
Aug, 2023
使用人工神经网络建立了一个模块化系统,通过对分别裁剪的眼睛进行估计,利用人脸检测和头部姿势估计组件,无需特殊硬件或红外滤光片,仅使用内置RGB相机进行人眼注视估计,通过包含大量合成数据集在训练模型中,达到了比相关方法更高的准确度。
Nov, 2023
最近,外貌导向的凝视估计成功应用于计算机视觉领域,并且通过各种深度学习技术得到了显著改进。本文提出了一种名为SAZE的新框架,通过训练网络来推广主题的外观,达到一致的概率分布推理。使用面部-凝视编码器、面部身份分类器和提出的对抗性损失函数设计了Fgen-Net。实验证明该方法的稳健性,达到了MPIIGaze和EyeDiap数据集上的最新成果,分别为3.89和4.42。此外,通过使用生成模型生成的不同样式的面部图像进行进一步实验,证明了积极的推广效果。
Jan, 2024
本研究针对现有基于外观的视线估计方法在合并多个数据集时性能提升不足的问题,提出了两项创新:采用两阶段变换器的视线特征融合方法和视线适应模块。研究表明,这些方法能有效提升视线估计性能,改善了系统在面对头部姿态变化时的鲁棒性,并解决了标签不一致的问题,性能提升幅度可达10%至20%。
Sep, 2024