自学转换以改善注视和头部重定向

Oct, 2020

自学转换以改善注视和头部重定向

Self-Learning Transformations for Improving Gaze and Head Redirection

Yufeng Zheng, Seonwook Park, Xucong Zhang, Shalini De Mello, Otmar Hilliges

TL;DR本文提出了一种新颖的生成模型，能够在控制眼睛注视和头部方向角度方面达到细粒度控制，并通过在自学习中学习发现、解缠和编码这些外部变化来分离众多与外貌相关的因素，进而优化了准确性和数据下游任务，从而提高了端到端交叉数据集准确性的能力。

Abstract

Many computer vision tasks rely on labeled data. Rapid progress in generative modeling has led to the ability to synthesize photorealistic images. However, controlling specific aspects of the generation process such that the data can be used for supervision of downstream tasks remains

generative modeling computer vision fine-grained control disentangling semi-supervised learning

发现论文，激发创造

使用生成对抗网络实现单目真实感凝视重定向

本研究提出了一种使用生成对抗网络训练的方法，用于在保持外观一致、生成逼真图像的同时实现目标凝视方向的眼部图像重定向，并通过感知相似性和一致性来优化生成图像的准确性。经广泛评估，该方法在图像质量和重定向精度等方面优于现有先进技术，并且可以通过与现实数据相结合，在凝视估计任务中取得显著的性能提升。

Mar, 2019

通过注视重定向合成改进少样本用户特定注视适应

本论文主要创新点是通过合成现有的参考样本的注视重定向眼图像来改进视线适应，并提出了一个自监督的方法进行域适应，利用视线重定向来提高特定个体视线估计的性能，通过对两个公共数据集的广泛实验证明了我们的视线重新定向和视线估计框架的有效性。

Apr, 2019

基于合成数据的角度范围和身份相似性增强的注视和头部重定向

本文提出了一种改进全脸图像中注视和头部重定向的角度精度和真实性的方法，通过单目三维人脸重建的数据增强来扩展头部姿态和注视范围，以解决当前模型在处理大角度重定向时的限制。此外，我们还提出了一个能够在训练合成数据的情况下提供更好图像质量和未知对象身份保留的框架。实验证明，我们的方法在保持高图像质量的同时，显著提高了重定向角度精度，特别是在大角度重定向时。

Sep, 2023

非监督式注视点估计的表征学习

该研究提出了一种不需要注释的低维注视表示学习方法，在少于 100 个标注样本的情况下，实现了有竞争力的 few-shot 注视估计结果，并且可以应用于不同的实验数据集和注视网络预训练等方向。

Nov, 2019

基于学习的新颖视角合成的全脸外貌的基于 3D 凝视估计

本研究提出了基于单目三维面部重建的合成凝视估计训练数据的新方法，利用投影匹配过程，配合掩码引导凝视估计模型和数据增强策略，显著提高了在具有非重叠凝视分布的跨数据集环境下的估计性能。

Jan, 2022

通过新视角合成和特征分离来进行领域自适应全脸注视估计

本研究提出了一个训练数据合成和注视估计模型的有效训练流程，用于无监督域自适应，包括使用单幅图像 3D 重建来扩展源域中头部姿势的范围，提出了一个自编码器网络来分离与注视相关的特征，并引入背景增强一致性损失来利用合成源域的特点，在多个目标域上进一步提高了性能。

May, 2023

ReDirTrans: 眼神和头部重定向的潜入潜出翻译

该论文提出了一种基于图像合成的方法来解决准确定位眼睛注视点的需求，利用 ReDirTrans 并结合 e4e-StyleGAN 构建了 ReDirTrans-GAN 网络作为数据集增强的手段，能够准确地定位包含完整面部信息且分辨率高达 $1024 imes1024$ 的图像中的眼睛注视点。

May, 2023

轻量级头部动作无关眼球追踪

本文提出了一种新的基于卷积神经网络的远程注视跟踪方法，该方法通过转移学习、使用合成数据等技术来提高检测准确率并解决了头部姿态变化的问题。

Apr, 2018

半监督对比回归用于眼球注视估计

通过使用半监督对比学习框架，本文提出了一种新的对比损失范式，从而实现了基于注视方向的估计，该框架在使用少量带有标签的注视数据集时，可以找到泛化解决方案，即使对于未见过的人脸图像也能有良好的性能表现，与其他用于注视估计的最先进对比学习技术相比，我们的对比回归框架表现良好。

Aug, 2023

DeepWarp: 注视控制的逼真图像合成

本文提出了一种新的深度神经网络架构，采用粗到细的图像变形和像素强度校正的方式，可以处理人脸重定向问题的特定实例，经过数值比较和用户研究表明可行。该架构能够在前向过程中处理所有操作，并以端到端的方式联合学习所有操作的参数。在学习之后，该神经网络能够合成具有操作后视线的图像，而重定向角度可从某一范围内自由选择提供给网络作为输入。

Jul, 2016