May, 2023

ReDirTrans: 眼神和头部重定向的潜入潜出翻译

PDF
TL;DR该论文提出了一种基于图像合成的方法来解决准确定位眼睛注视点的需求，利用 ReDirTrans 并结合 e4e-StyleGAN 构建了 ReDirTrans-GAN 网络作为数据集增强的手段，能够准确地定位包含完整面部信息且分辨率高达 $1024 imes1024$ 的图像中的眼睛注视点。
gaze estimationimage synthesisganlatent-to-latent translationdata augmentation
发现论文，激发创造
  • 自学转换以改善注视和头部重定向

    本文提出了一种新颖的生成模型，能够在控制眼睛注视和头部方向角度方面达到细粒度控制，并通过在自学习中学习发现、解缠和编码这些外部变化来分离众多与外貌相关的因素，进而优化了准确性和数据下游任务，从而提高了端到端交叉数据集准确性的能力。

    Oct, 2020

  • 使用生成对抗网络实现单目真实感凝视重定向

    本研究提出了一种使用生成对抗网络训练的方法，用于在保持外观一致、生成逼真图像的同时实现目标凝视方向的眼部图像重定向，并通过感知相似性和一致性来优化生成图像的准确性。经广泛评估，该方法在图像质量和重定向精度等方面优于现有先进技术，并且可以通过与现实数据相结合，在凝视估计任务中取得显著的性能提升。

    Mar, 2019

  • 通过注视重定向合成改进少样本用户特定注视适应

    本论文主要创新点是通过合成现有的参考样本的注视重定向眼图像来改进视线适应，并提出了一个自监督的方法进行域适应，利用视线重定向来提高特定个体视线估计的性能，通过对两个公共数据集的广泛实验证明了我们的视线重新定向和视线估计框架的有效性。

    Apr, 2019

  • 可控的连续凝视重定向

    本文提出了 interpGaze，一种用于控制眼球注视方向的新框架。通过设计由编码器，控制器和解码器构成的模型，interpGaze 实现了精确控制眼球注视方向和持续插值。实验验证表明，interpGaze 在图像质量和重定向精度方面优于现有方法。

    Oct, 2020

  • 非监督式注视点估计的表征学习

    该研究提出了一种不需要注释的低维注视表示学习方法，在少于 100 个标注样本的情况下，实现了有竞争力的 few-shot 注视估计结果，并且可以应用于不同的实验数据集和注视网络预训练等方向。

    Nov, 2019

  • GazeDirector: 视频中全自由度眼部凝视重定向

    通过模型匹配的方法构建 GazeDirector 用于眼睛注视的重新定向，其通过分析与合成来追踪眼睛，实现了对 3D 准确指定目视的功能，并在 Columbia 注视数据集上的实验中得到了良好的结果。

    Apr, 2017

  • 基于合成数据的角度范围和身份相似性增强的注视和头部重定向

    本文提出了一种改进全脸图像中注视和头部重定向的角度精度和真实性的方法，通过单目三维人脸重建的数据增强来扩展头部姿态和注视范围，以解决当前模型在处理大角度重定向时的限制。此外，我们还提出了一个能够在训练合成数据的情况下提供更好图像质量和未知对象身份保留的框架。实验证明，我们的方法在保持高图像质量的同时，显著提高了重定向角度精度，特别是在大角度重定向时。

    Sep, 2023

  • NeRF-Gaze：用于注视估计的头部 - 眼睛重定向参数模型

    提出一种基于神经辐射场的头眼重定向参数模型，使得可以通过无监督学习操纵不同面孔属性的潜在代码来获取多样的三维感知凝视数据集，进而实现涉及面孔属性、身份、照明和眼部凝视方向的分离渲染，并在多个基准数据集上验证了其在不同域通用性和自适应性上的有效性。

    Dec, 2022

  • 通过在 GAN 的潜空间中寻找方向实现一次性神经人脸再现

    本论文提出了一种神经面部 / 头部再现的框架，其目标是将目标面部的 3D 头部方向和表情转移到源面部。我们采用了不同的方法，通过使用（精调）预训练的生成对抗网络，绕过了学习嵌入网络以实现身份和头部姿态 / 表情分离的困难任务，以提高生成图像的质量。我们的方法通过将真实图像嵌入生成对抗网络的潜在空间，成功实现了对真实世界面部的再现。

    Feb, 2024

  • GAN 隐空间中的方向搜索用于神经网络人脸再现

    该研究探讨了如何使用预训练 GAN 模型实现头部和面部重新实现，并使用 3D 形状模型帮助发现潜在空间中的方向，以达到身份解缠和跨人重现的目的。研究结果表明，与现有的最先进方法相比，该方法是一种高质量的方法。

    Jan, 2022