CVPRMar, 2020

StyleRig：用于调整人像图像的 StyleGAN 3D 控制软件

PDF
TL;DR该论文提出了一种通过 3DMM 对 StyleGAN 进行 “面部控制” 的方法，可以实现对面部姿态、表情和场景光照等语义参数的控制，同时具备 StyleGAN 的照片般的逼真感。
发现论文，激发创造
  • LeGO：通过表面变形网络实现可动漫化风格的人脸生成（以单个示例为基础）

    通过训练表面变形网络和使用配对样例来翻译目标风格，该方法实现了高度风格化的 3D 人脸模型，可以生成不同拓扑的面部模型，并用于诸如头像生成、几何样式的线性插值以及风格化头像的面部动画等应用。

    Mar, 2024

  • HyperStyle3D: 通过超网络进行文本引导的 3D 人像风格化

    本文提出了一种基于 3D-aware GANs 的 HyperStyle3D 方法，利用 CLIP 模型作为样式指导，可以在不要求 3D 数据的情况下进行立体画风化处理，实验结果表明该方法在不同的画风、形状变形、属性修改等方面展现了优异表现，且保持了 3D 一致性。

    Apr, 2023

  • 可控肖像图像动画的 3D GAN 反向推导

    本文提出了一种基于新开发的三维生成对抗网络（GANs）的画像图像动画的技术，该技术允许对图像主体的姿态进行明确控制，并展示了该方法在图像质量，身份保护和姿态转移等方面胜过先前的方法，同时支持属性修改。

    Mar, 2022

  • PIE: 针对语义控制的人像图像嵌入

    本文提出了一种基于 StyleGAN 的新方法，将真实肖像图片嵌入潜空间，从而提供了对肖像图像头部姿态、面部表情和场景照明的直观编辑。通过 StyleRig，即一个预训练的神经网络，来实现参数空间中的语义编辑。我们设计了一种新的分层非线性优化问题来获得嵌入。添加了一项身份保护能量项，以保持面部完整性和空间连贯性。

    Sep, 2020

  • MOST-GAN: 用于解耦脸部图像操作的 3D 可塑造风格 GAN

    MOST-GAN 使用 3D 形态模型耦合现代化 2D 变形网络实现面部图像生成、控制和逼真操作。

    Nov, 2021

  • PIRenderer：通过语义神经渲染实现可控肖像图像生成

    使用三维可变形面部模型参数来控制面部动作，生成逼真的肖像图像并实现音频驱动的面部再现。

    Sep, 2021

  • 野外条件下的大姿态人脸正向化

    本文提出了一种利用深度学习中的 3D 可塑模型进行面部正面化的生成式对抗网络，可以有效提高识别率和处理不同姿势的面部图像。

    Apr, 2017

  • 将可控 NeRF-GAN 的 3D 感知注入 StyleGAN，用于可编辑的肖像图像合成

    通过引入 SURF-GAN 和将其先验注入 StyleGAN，提出了一种新的三维可控生成器，可进行人像生成的明确姿态控制。

    Jul, 2022

  • RigNeRF: 全控制神经网络 3D 肖像

    本研究提出了 RigNeRF 这一系统，不仅能够让用户通过单个肖像视频控制头部姿态和面部表情，还能够实现场景物体的编辑和自由视角合成。

    Jun, 2022

  • 3D-SSGAN: 二维语义向三维感知组合肖像合成

    3D-SSGAN 是一个新颖的 3D 感知合成肖像图像的框架，通过提供细粒度的部件级控制，并保持 3D 视图的一致性，在合成肖像图像的同时实现了清晰的人脸区域解缠，其通过引入一个基于深度引导的 2D 到 3D 映射模块和一个具有新颖的 3D 感知语义掩码渲染器的体积渲染器来生成合成的人脸特征和相应的掩码，并通过区分真实和合成的 2D 图像和语义掩码的方式进行端到端的训练，定量和定性评估证明了 3D-SSGAN 在可控的部件级合成和保持 3D 视图一致性方面的优越性。

    Jan, 2024