Sep, 2023

基于合成数据的角度范围和身份相似性增强的注视和头部重定向

PDF
TL;DR本文提出了一种改进全脸图像中注视和头部重定向的角度精度和真实性的方法，通过单目三维人脸重建的数据增强来扩展头部姿态和注视范围，以解决当前模型在处理大角度重定向时的限制。此外，我们还提出了一个能够在训练合成数据的情况下提供更好图像质量和未知对象身份保留的框架。实验证明，我们的方法在保持高图像质量的同时，显著提高了重定向角度精度，特别是在大角度重定向时。
angular accuracyphoto-realitygaze and head redirectiondata augmentationimage quality
发现论文，激发创造
  • 通过注视重定向合成改进少样本用户特定注视适应

    本论文主要创新点是通过合成现有的参考样本的注视重定向眼图像来改进视线适应，并提出了一个自监督的方法进行域适应，利用视线重定向来提高特定个体视线估计的性能，通过对两个公共数据集的广泛实验证明了我们的视线重新定向和视线估计框架的有效性。

    Apr, 2019

  • 自学转换以改善注视和头部重定向

    本文提出了一种新颖的生成模型，能够在控制眼睛注视和头部方向角度方面达到细粒度控制，并通过在自学习中学习发现、解缠和编码这些外部变化来分离众多与外貌相关的因素，进而优化了准确性和数据下游任务，从而提高了端到端交叉数据集准确性的能力。

    Oct, 2020

  • 基于学习的新颖视角合成的全脸外貌的基于 3D 凝视估计

    本研究提出了基于单目三维面部重建的合成凝视估计训练数据的新方法，利用投影匹配过程，配合掩码引导凝视估计模型和数据增强策略，显著提高了在具有非重叠凝视分布的跨数据集环境下的估计性能。

    Jan, 2022

  • 特定应用的半合成数据集增强用于凝视估计

    通过生成面部的纹理三维网格，并从特定位置和方向的虚拟相机渲染训练图像作为现有数据集的补充方式，可以在目标特定任务中取得更好的推广效果，平均减少了 47% 的注视角度误差。

    Oct, 2023

  • 使用生成对抗网络实现单目真实感凝视重定向

    本研究提出了一种使用生成对抗网络训练的方法，用于在保持外观一致、生成逼真图像的同时实现目标凝视方向的眼部图像重定向，并通过感知相似性和一致性来优化生成图像的准确性。经广泛评估，该方法在图像质量和重定向精度等方面优于现有先进技术，并且可以通过与现实数据相结合，在凝视估计任务中取得显著的性能提升。

    Mar, 2019

  • 通过新视角合成和特征分离来进行领域自适应全脸注视估计

    本研究提出了一个训练数据合成和注视估计模型的有效训练流程，用于无监督域自适应，包括使用单幅图像 3D 重建来扩展源域中头部姿势的范围，提出了一个自编码器网络来分离与注视相关的特征，并引入背景增强一致性损失来利用合成源域的特点，在多个目标域上进一步提高了性能。

    May, 2023

  • GazeDirector: 视频中全自由度眼部凝视重定向

    通过模型匹配的方法构建 GazeDirector 用于眼睛注视的重新定向，其通过分析与合成来追踪眼睛，实现了对 3D 准确指定目视的功能，并在 Columbia 注视数据集上的实验中得到了良好的结果。

    Apr, 2017

  • DeepWarp: 注视控制的逼真图像合成

    本文提出了一种新的深度神经网络架构，采用粗到细的图像变形和像素强度校正的方式，可以处理人脸重定向问题的特定实例，经过数值比较和用户研究表明可行。该架构能够在前向过程中处理所有操作，并以端到端的方式联合学习所有操作的参数。在学习之后，该神经网络能够合成具有操作后视线的图像，而重定向角度可从某一范围内自由选择提供给网络作为输入。

    Jul, 2016

  • ReDirTrans: 眼神和头部重定向的潜入潜出翻译

    该论文提出了一种基于图像合成的方法来解决准确定位眼睛注视点的需求，利用 ReDirTrans 并结合 e4e-StyleGAN 构建了 ReDirTrans-GAN 网络作为数据集增强的手段，能够准确地定位包含完整面部信息且分辨率高达 $1024 imes1024$ 的图像中的眼睛注视点。

    May, 2023

  • 姿态和光照不变人脸识别数据增强

    本文提出了一种方法，在不修改深度神经网络本身的结构下，通过半合成图像增加深度学习模型对于姿势和光照变化的适应能力，从而提升了现代人脸识别系统在具有挑战性的 IJB-A 数据集上的识别性能。

    Apr, 2017