面部交换研究中，我们探讨了观察者对面部交换的感知，特别关注了反常谷效应的存在。我们提出了一种新的训练模型方法，通过利用预先训练的凝视估计网络来直接改善对眼睛的表示。研究结果表明，面部交换会引起观察者的反常反应，但通过我们的方法可以显著减少面部交换与源材料之间的视角误差，并减少眼睛在深假检测任务中的重要性。这些发现对于特效制作、数字化形象、隐私保护等领域具有重要意义，用户的负面反应可能限制这些应用的有效性。通过定向方法改善观察者的感知是一个重要的起点。

Feb, 2024

通过一个创新的端到端框架，我们提出了一种高保真度的面部交换方法，其中使用了深度学习方法中的生成对抗网络（GANs）作为基础，通过面部属性编码器、基于注意力的样式混合模块和样式解码器等多个模块，解决了以往面部交换方法中的混合不一致、失真、伪影和训练稳定性等问题。我们在 CelebA-HQ 数据集上进行了大量实验，与其他先进方法相比，我们的面部交换方法生成的图像具有更高的视觉质量，并且每个提出的模块都显著有效。源代码和权重将公开提供。

Dec, 2023

通过使用半监督对比学习框架，本文提出了一种新的对比损失范式，从而实现了基于注视方向的估计，该框架在使用少量带有标签的注视数据集时，可以找到泛化解决方案，即使对于未见过的人脸图像也能有良好的性能表现，与其他用于注视估计的最先进对比学习技术相比，我们的对比回归框架表现良好。

Aug, 2023

本文描述了一种新颖的人脸交换网络，使用 transformer 网络来学习源脸部与目标脸部之间高质量的语义感知对应，实现在交换后的脸部图像中同时保留源身份和目标属性。

Apr, 2023

本研究提出了基于单目三维面部重建的合成凝视估计训练数据的新方法，利用投影匹配过程，配合掩码引导凝视估计模型和数据增强策略，显著提高了在具有非重叠凝视分布的跨数据集环境下的估计性能。

Jan, 2022

本文介绍了一种创新的 DeepFake 检测方法，使用从 3D 凝视估计模型获取的凝视表示来规范我们 DeepFake 检测模型中的相应表示，同时结合一般特征进一步提高性能。实验证明我们提出的 GazeForensics 优于当前最先进的方法。

Nov, 2023

本研究提出一种可靠的 face swapping 框架，使用 cycle triplets 作为图像级别的指导，并通过 FixerNet 增强下半脸区域的表征，从而提高面部交换网络的性能和身份保留能力。

Jun, 2023

本文提出了一种新颖的生成模型，能够在控制眼睛注视和头部方向角度方面达到细粒度控制，并通过在自学习中学习发现、解缠和编码这些外部变化来分离众多与外貌相关的因素，进而优化了准确性和数据下游任务，从而提高了端到端交叉数据集准确性的能力。

Oct, 2020

本研究提出了一种名为 FaceShifter 的新型两阶段框架，用于高保真度和遮挡感知的人脸换脸。该框架通过完全自适应地利用和整合目标属性，在第一阶段生成高清晰度的换脸图像，其创新点在于引入目标属性编码器和自适应关注规范化层生成器。为了解决复杂的面部遮挡问题，我们还增加了由 Heuristic Error Acknowledging Refinement Network (HEAR-Net) 组成的第二阶段。大量实验表明，我们的技术不仅在感知上更好，而且还有更好的身份保护能力。

Dec, 2019

利用外观为基础的凝视估计具有很大潜力，通过使用单个通用摄像头作为输入设备，但是在很大程度上取决于大规模且经过良好注释的凝视数据集的可用性，这种数据集是稀缺且昂贵的。为了解决这个挑战，我们提出了一种基于对比学习的框架 ConGaze，该框架利用未标记的面部图像以无监督的方式跨主体学习通用的凝视感知表示。我们的实验证明 ConGaze 在三个公共凝视估计数据集上胜过现有的无监督学习解决方案 6.7％至 22.5％；并且在跨数据集评估中相对于基于监督学习的模型，取得了 15.1％至 24.6％的改进。

Sep, 2023