Mar, 2022

可控肖像图像动画的 3D GAN 反向推导

PDF
TL;DR本文提出了一种基于新开发的三维生成对抗网络（GANs）的画像图像动画的技术，该技术允许对图像主体的姿态进行明确控制，并展示了该方法在图像质量，身份保护和姿态转移等方面胜过先前的方法，同时支持属性修改。
portrait image animation3d gansmulti-view consistencyexpression manipulationattribute editing
发现论文，激发创造
  • AniPortraitGAN：从 2D 图像集合生成可动态调整的 3D 肖像

    基于非结构化的 2D 图像集合，我们提出了一种可调节面部表情、头部姿势和肩膀运动的三维感知生成对抗网络，该网络能够生成多样且高质量的三维头像。

    Sep, 2023

  • 3D-FM GAN: 面部三维可控制变化

    提出了一种新的 3D 可控脸部操作方法：3D-FM GAN，通过将输入脸部图像和 3D 编辑的真实渲染相结合，可以提供高质量、身份保留、3D 可控的脸部操作，相较于现有技术，具有更好的可编辑性、更强的身份保护和更高的照片逼真度。

    Aug, 2022

  • InvertAvatar：用于广义头像的增量 GAN 反演

    提出了一种新颖的框架，增量 3D GAN 逆转，通过增加逆转质量随帧数增加来提高数字头像重建性能，引入了一个带有两个关键修改的唯一可动画的 3D GAN 先验，以及一种基于 UV 参数化对纹理特征空间进行分类的创新神经纹理编码器。

    Dec, 2023

  • AniFaceGAN: 为视频头像生成可动画 3D 感知人脸图像

    本研究提出一种可动画的 3D 感知生成对抗网络用于多视角一致的人脸动画生成，通过将 3D 感知生成对抗网络的 3D 表示分解为模板场和形变场，并提出 3D 级模仿学习方案，帮助我们实现高质量的动画面部图像生成并具有较强的可视化 3D 一致性。

    Oct, 2022

  • GAN-Avatar: 可控个性化基于 GAN 的人头图像生成器

    我们提出了一种从图像中学习具有人物特定的可动画化角色模型的方法，旨在解决面部表情追踪失败的问题，并实现高保真度的图像合成。

    Nov, 2023

  • FreeStyleGAN：利用相机流形进行自由视角编辑的头像渲染

    本文提出了利用 GAN 进行 3D 重建，并引入了 GAN 相机流形的概念，通过精准的相机控制，实现了真正自由视点的渲染，在输入少量的照片的同时具有明显的语义控制能力。

    Sep, 2021

  • 基于 3D GAN 的大姿态人脸识别改进

    研究使用生成的合成数据进行面部识别的训练。通过在 GAN 的产生器中引入 3D 可塑模型，实现了从实际图像中学习非线性纹理模型，从而生成新的合成身份，同时操作姿势、照明和表情，而不会影响身份。最终使用生成的数据增加现有面部识别网络的训练，性能得到改善。

    Dec, 2020

  • 多视角反演的三维感知生成对抗网络

    当前针对人头的 3D GAN 反演方法通常只使用一个正面图像来重建整个 3D 头部模型，从而忽略了多视角数据或动态视频时的有意义信息。本研究基于现有先进的 3D GAN 反演技术，允许一致且同时地反演同一主体的多个视角。我们采用多潜变量扩展来处理动态人脸视频中的不一致性，从而从序列中重新合成一致的 3D 表示。由于我们的方法使用了有关目标主体的额外信息，我们观察到在几何精度和图像质量方面显著提高，尤其是在宽视角下的渲染。此外，我们展示了反演 3D 渲染的可编辑性，这使它们与基于 NeRF 的场景重建有所区别。

    Dec, 2023

  • PV3D：肖像视频生成的三维生成模型

    PV3D 提出了第一种生成性框架，它可以合成多视角一致的肖像视频，通过添加多个运动层构建运动生成器来引入运动动态，并提出了简单而有效的摄像机条件策略，能够支持许多下游应用，如动画静态肖像和视角一致的视频运动编辑。

    Dec, 2022

  • 从单幅肖像生成可动画的 3D 卡通人脸

    本文提出了一种从单幅肖像图像生成动画化的 3D 卡通脸部的新框架，并针对传统模型建立漫画形象耗时且难以保持相似性的问题，提出了基于模板和形变转移的语义保留脸部绑定方法及实时动画演示。

    Jul, 2023