区域感知人脸交换
本文描述了一种新颖的人脸交换网络,使用 transformer 网络来学习源脸部与目标脸部之间高质量的语义感知对应,实现在交换后的脸部图像中同时保留源身份和目标属性。
Apr, 2023
本文提出了一种基于语义流引导的两阶段框架 ——FlowFace 进行面部交换,FlowFace 可以成功传递源面部轮廓和内部面部特征到目标面部,从而获得更加逼真的面部交换效果。
Dec, 2022
本文介绍了一种新的面部交换方法,称为 “编辑式交换”(E4S),通过精细的面部编辑实现。我们提出了区域 GAN 反演(RGI)方法,可以显式地解开形状和纹理的复杂性,并通过样式和掩码交换简化了面部交换。此外,我们还提出了一种重新着色网络来保持目标脸上的光照条件,并通过面部修复网络进行后处理。与最先进的方法进行了广泛比较,证明了我们的 E4S 在保持纹理、形状和光照方面的优越性。
Oct, 2023
基于卷积视觉变换器的框架通过全局信息和面部图像中的局部线索来改善人脸识别性能和抵抗领域转变的作用,在面部反欺诈和领域泛化等领域取得了显著的提升。
Jul, 2023
本研究提出了一种基于 ' 编辑以交换 ' 范式的人脸真实交换框架,通过局部和全局交换面部特征和用户指定的部分交换控制,实现了面部几何和纹理细节的高保真性保留,同时应用了多项技术包括分离面部构件的纹理和形状信息、利用区域 GAN 反演的联合编码和注入来实现对交换细节的精细控制。在对比实验中展示了本方法在高分辨率图像上有效性及纹理保留优势。
Nov, 2022
通过一个创新的端到端框架,我们提出了一种高保真度的面部交换方法,其中使用了深度学习方法中的生成对抗网络(GANs)作为基础,通过面部属性编码器、基于注意力的样式混合模块和样式解码器等多个模块,解决了以往面部交换方法中的混合不一致、失真、伪影和训练稳定性等问题。我们在 CelebA-HQ 数据集上进行了大量实验,与其他先进方法相比,我们的面部交换方法生成的图像具有更高的视觉质量,并且每个提出的模块都显著有效。源代码和权重将公开提供。
Dec, 2023
提出了一种名为 'WSC-swap' 的新的面部交换框架,通过消除 skip connections 并利用两个目标编码器来分别捕获非脸部区域属性和脸部区域的语义非身份属性,并使用对抗训练中的身份移除损失和 3DMM 模型中的非身份保留损失来进一步加强目标编码器的解开交织性,并在 FaceForensics ++ 和 CelebA-HQ 上进行了广泛的实验。
Jul, 2023
本文提出了一种基于 StyleGAN 的自适应潜在表示学习的高分辨率人脸交换框架,通过多任务双空间人脸编码器和自适应潜在编码交换模块来实现面部感知和融合,从而提高人脸交换的真实性和广泛适用性,并证明了该方法优于现有的最先进方法。
Mar, 2023
本研究提出了一种名为 FaceShifter 的新型两阶段框架,用于高保真度和遮挡感知的人脸换脸。该框架通过完全自适应地利用和整合目标属性,在第一阶段生成高清晰度的换脸图像,其创新点在于引入目标属性编码器和自适应关注规范化层生成器。为了解决复杂的面部遮挡问题,我们还增加了由 Heuristic Error Acknowledging Refinement Network (HEAR-Net) 组成的第二阶段。大量实验表明,我们的技术不仅在感知上更好,而且还有更好的身份保护能力。
Dec, 2019
该研究提出了一种名为‘算术脸替换’的新型高保真脸部交换方法,通过明确把预训练的 StyleGAN 的中间潜空间 W + 进行‘身份’和‘风格’子空间的解离,将人脸替换视为 W + 中的简单算术运算。作者通过学习一个神经网络将潜向量映射到‘风格’码以实现身份 - 风格解离,并且实验证明了它相较于其他现有的方法具有更好的高保真度。
Nov, 2022