Jul, 2023

Face-PAST：面部姿势感知和风格迁移网络

PDF
TL;DR我们提出了一种面部姿态感知和风格转换（Face-PAST）网络，它在生成高质量的风格化图像的同时保留面部细节和结构。通过使用预训练的风格生成网络和残留调制块而非变换编码块，以及利用门控映射单元和面部结构、身份和分割损失来保留面部结构和细节，我们的网络能够用非常有限的数据进行训练。我们的训练过程采用课程学习策略来在生成空间中进行高效灵活的风格混合。通过广泛的实验证明了我们的 Face-PAST 方法相较于现有最先进的方法的优越性。
facial style transferstyleganfacial pose awarenessstylized imagescurriculum learning strategy
发现论文，激发创造
  • 肖像风格化：人脸风格化的辅助网络艺术风格转换

    本文提出了一种利用辅助预训练人脸识别模型的嵌入特征来促进图像风格转移算法将内容图像中的人脸特征传播到最终风格化结果，以解决现有方法在整个风格化过程中难以保留人脸的个体特征的问题。

    Sep, 2023

  • 拼贴大师：基于样例的高分辨率肖像画风转换

    本文介绍一种名为 DualStyleGAN 的新型神经网络，可用于基于范例的高分辨率肖像风格迁移，实现原始面部领域和艺术肖像领域的双重风格控制，并通过一种新型的渐进微调机制使其能够精确拼贴风格示例。实验证明其在高质量肖像风格转换和灵活的样式控制方面优于现有方法。

    Mar, 2022

  • 高保真人脸换脸与风格融合

    通过一个创新的端到端框架，我们提出了一种高保真度的面部交换方法，其中使用了深度学习方法中的生成对抗网络（GANs）作为基础，通过面部属性编码器、基于注意力的样式混合模块和样式解码器等多个模块，解决了以往面部交换方法中的混合不一致、失真、伪影和训练稳定性等问题。我们在 CelebA-HQ 数据集上进行了大量实验，与其他先进方法相比，我们的面部交换方法生成的图像具有更高的视觉质量，并且每个提出的模块都显著有效。源代码和权重将公开提供。

    Dec, 2023

  • PP-GAN：使用带有 GAN 的地标提取器从韩国肖像到身份证照片的样式转移

    该研究提出了一种基于深度学习网络和生成对抗网络的风格迁移方法，并采用面部标志遮罩保护面部特征以保留面部身份，同时使用格拉姆矩阵来考虑风格相关性，相比之前的研究表现出更好的迁移和保留性能。

    Jun, 2023

  • 基于生成对抗网络的人脸转换

    提出了一种基于生成对抗网络的端到端人脸转移方法，使用 CycleGAN 生成目标角色的面部图像并探究了 PatchGAN 以及不同感受野大小对生成图像的影响。

    Oct, 2017

  • 用样式转移创建面部动画

    通过使用 StarGAN 和保持发音相符合的口形损失，我们提出了一种新颖的方法将 3D 面部动画转换为不同的情感和个人风格，以便修改动画的风格特征。

    Jul, 2023

  • 基于风格生成器的无约束面部表情转移

    提出了一种基于 StyleGAN 模型的面部表情迁移方法，通过优化过程和线性组合方案将两个输入脸部图像的外观属性和表情属性实现合并，从而在不需要几何注释的情况下生成高质量、准确的面部表情合成结果。

    Dec, 2019

  • 自适应潜在表示学习下的端到端人脸交换

    本文提出了一种基于 StyleGAN 的自适应潜在表示学习的高分辨率人脸交换框架，通过多任务双空间人脸编码器和自适应潜在编码交换模块来实现面部感知和融合，从而提高人脸交换的真实性和广泛适用性，并证明了该方法优于现有的最先进方法。

    Mar, 2023

  • PSGAN：面部表情姿势健壮空间感知 GAN，用于可定制化化妆迁移

    在该研究中，我们提出了 Pose and expression robust Spatial-aware GAN (PSGAN)，它通过 Makeup Distill Network 来将参考图像的妆容分解为两个空间感知的妆容矩阵，使用 Attentive Makeup Morphing 模块指定从参考图像到源图像的学习方式，并通过 Makeup Apply Network 连接源图像和妆容矩阵来进行妆容转移。实验结果表明，我们提出的 PSGAN 不仅在大幅度姿态和表情变化的情况下取得了最新的研究成果，而且还能够进行部分和颜色可控的妆容转移。

    Sep, 2019

  • ToonAging: 艺术肖像风格转换下的人脸再老化

    在本文中，我们引入了一种新颖的一阶段面部恢复年轻化方法，并结合肖像风格转换，在单个生成步骤中执行。我们利用现有的面部恢复年轻化和风格转换网络，两者均在相同的 PR 领域内进行训练。我们的方法独特地融合了不同的潜在向量，每个向量负责管理与年龄相关的属性和 NPR 外观。采用示例为基础的方法，我们的方法比领域级精调方法提供了更大的灵活性，这些方法通常需要针对每个领域进行单独训练或精调。我们的实验表明，我们的模型可以轻松生成年轻化的图像，同时保持示例的风格，保持自然外观和可控性。

    Feb, 2024