Oct, 2023

特定应用的半合成数据集增强用于凝视估计

PDF
TL;DR通过生成面部的纹理三维网格，并从特定位置和方向的虚拟相机渲染训练图像作为现有数据集的补充方式，可以在目标特定任务中取得更好的推广效果，平均减少了 47% 的注视角度误差。
gaze estimationappearance-based methodsdatasets3d point of gazeaugmentation
发现论文，激发创造
  • 基于学习的新颖视角合成的全脸外貌的基于 3D 凝视估计

    本研究提出了基于单目三维面部重建的合成凝视估计训练数据的新方法，利用投影匹配过程，配合掩码引导凝视估计模型和数据增强策略，显著提高了在具有非重叠凝视分布的跨数据集环境下的估计性能。

    Jan, 2022

  • 基于合成数据的角度范围和身份相似性增强的注视和头部重定向

    本文提出了一种改进全脸图像中注视和头部重定向的角度精度和真实性的方法，通过单目三维人脸重建的数据增强来扩展头部姿态和注视范围，以解决当前模型在处理大角度重定向时的限制。此外，我们还提出了一个能够在训练合成数据的情况下提供更好图像质量和未知对象身份保留的框架。实验证明，我们的方法在保持高图像质量的同时，显著提高了重定向角度精度，特别是在大角度重定向时。

    Sep, 2023

  • 用于眼形注册和凝视估计的眼部渲染

    该研究利用计算机图形技术合成眼睛数据，以替代传统方法的耗时数据收集和手动标注，实现更好的性能表现。

    May, 2015

  • 半监督对比回归用于眼球注视估计

    通过使用半监督对比学习框架，本文提出了一种新的对比损失范式，从而实现了基于注视方向的估计，该框架在使用少量带有标签的注视数据集时，可以找到泛化解决方案，即使对于未见过的人脸图像也能有良好的性能表现，与其他用于注视估计的最先进对比学习技术相比，我们的对比回归框架表现良好。

    Aug, 2023

  • 基于外观的注视估计，使用深度神经网络增强的合成图像

    使用人工神经网络建立了一个模块化系统，通过对分别裁剪的眼睛进行估计，利用人脸检测和头部姿势估计组件，无需特殊硬件或红外滤光片，仅使用内置 RGB 相机进行人眼注视估计，通过包含大量合成数据集在训练模型中，达到了比相关方法更高的准确度。

    Nov, 2023

  • MPIIGaze: 实际场景数据集与深度外貌取向估计

    我们提出了 MPIIGaze，包括 213659 个人的实验数据，并对现有的三个数据集进行了广泛的评估，研究了目标视线范围、光照条件和面部外观变化等关键挑战，提出了第一种深度外观估计方法 GazeNet，并将平均误差从 13.9 度提高到 10.8 度，这是当前技术水平的改进。

    Nov, 2017

  • 通过新视角合成和特征分离来进行领域自适应全脸注视估计

    本研究提出了一个训练数据合成和注视估计模型的有效训练流程，用于无监督域自适应，包括使用单幅图像 3D 重建来扩展源域中头部姿势的范围，提出了一个自编码器网络来分离与注视相关的特征，并引入背景增强一致性损失来利用合成源域的特点，在多个目标域上进一步提高了性能。

    May, 2023

  • 姿态和光照不变人脸识别数据增强

    本文提出了一种方法，在不修改深度神经网络本身的结构下，通过半合成图像增加深度学习模型对于姿势和光照变化的适应能力，从而提升了现代人脸识别系统在具有挑战性的 IJB-A 数据集上的识别性能。

    Apr, 2017

  • 基于视频的端到端眼动追踪技术

    提出了一种利用视频数据集和图像相结合的方法，通过学习用户注视与眼部外形之间的联系来提高眼动追踪的精度，实现基于网络摄像头的高准确度屏幕眼动追踪，不需要标记的数据并且通过视觉刺激和眼部图像信息融合可以达到监督式个性化的效果。

    Jul, 2020

  • 野外环境中基于外貌特征的注视估计

    本文针对外界复杂的实际应用场景下的视线估计问题，在自然、真实的使用环境中使用 MPIIGaze 数据集进行研究，并提出了一种多模态卷积神经网络的方法，通过跨数据集评估证明该方法显著优于现有的方法。我们还对三个最新数据集上的几种最先进的基于图像的凝视估计算法进行了细致评估，确认了外部环境变化对凝视估计的影响，为实际的实时视线估计研究提供了重要的参考。

    Apr, 2015