Jan, 2024

3D-SSGAN: 二维语义向三维感知组合肖像合成

PDF
TL;DR3D-SSGAN 是一个新颖的 3D 感知合成肖像图像的框架，通过提供细粒度的部件级控制，并保持 3D 视图的一致性，在合成肖像图像的同时实现了清晰的人脸区域解缠，其通过引入一个基于深度引导的 2D 到 3D 映射模块和一个具有新颖的 3D 感知语义掩码渲染器的体积渲染器来生成合成的人脸特征和相应的掩码，并通过区分真实和合成的 2D 图像和语义掩码的方式进行端到端的训练，定量和定性评估证明了 3D-SSGAN 在可控的部件级合成和保持 3D 视图一致性方面的优越性。
3d-aware portrait synthesispart-level controlview consistency3d modeling abilitiescompositional portrait image synthesis
发现论文，激发创造
  • 将 2D StyleGAN 升级为 3D 感知人脸生成

    提出 LiftedGAN 框架，无需手动标注或 3DMM 模型的训练，通过可微分的渲染器分解 StyleGAN2 的潜在空间，生成 3D 组件，并输出 3D 形状和纹理，实现内容可控性，在生成逼真高质量图像方面表现出超越现有方法的优点。

    Nov, 2020

  • IDE-3D: 高分辨率三维感知人像综合的交互式分离式编辑

    本文提出了一个结合了低分辨率可编辑性和高质量的生成模型，是 3D-semantics-aware 方法的新途径，在视图一致、语义分离的面部图像方面具有状态 - of-the-art 的性能、忠实度和效率。

    May, 2022

  • SofGAN：一种具有动态风格的肖像图像生成器

    提出了一种 SofGAN 图像生成器来将肖像的潜在空间分解为几何空间和纹理空间，在经过一系列实验后，展示了该系统可以生成具有对几何和纹理属性具有独立可控性的高质量肖像图像。

    Jul, 2020

  • SideGAN: 用于改进侧视图图像生成的三维感知生成模型

    通过将问题拆分为两个子问题，我们提出了 SideGAN，一种新颖的 3D GAN 训练方法，用于生成与相机位置无关的逼真图像，特别适用于侧视角的人脸。

    Sep, 2023

  • 可控肖像图像动画的 3D GAN 反向推导

    本文提出了一种基于新开发的三维生成对抗网络（GANs）的画像图像动画的技术，该技术允许对图像主体的姿态进行明确控制，并展示了该方法在图像质量，身份保护和姿态转移等方面胜过先前的方法，同时支持属性修改。

    Mar, 2022

  • PV3D：肖像视频生成的三维生成模型

    PV3D 提出了第一种生成性框架，它可以合成多视角一致的肖像视频，通过添加多个运动层构建运动生成器来引入运动动态，并提出了简单而有效的摄像机条件策略，能够支持许多下游应用，如动画静态肖像和视角一致的视频运动编辑。

    Dec, 2022

  • 将可控 NeRF-GAN 的 3D 感知注入 StyleGAN，用于可编辑的肖像图像合成

    通过引入 SURF-GAN 和将其先验注入 StyleGAN，提出了一种新的三维可控生成器，可进行人像生成的明确姿态控制。

    Jul, 2022

  • 3D-FM GAN: 面部三维可控制变化

    提出了一种新的 3D 可控脸部操作方法：3D-FM GAN，通过将输入脸部图像和 3D 编辑的真实渲染相结合，可以提供高质量、身份保留、3D 可控的脸部操作，相较于现有技术，具有更好的可编辑性、更强的身份保护和更高的照片逼真度。

    Aug, 2022

  • 人体综合的三维感知语义引导生成模型

    提出了一种基于 3D-SGAN 的语义指导生成模型，利用生成神经辐射场（GNeRF）提取人体的隐式 3D 表示，并用纹理生成器将语义掩码转换为真实图像，为计算机图形学应用中的非刚性物体生成具有照片级真实感的图像。在 DeepFashion 数据集上，比最新的基准表现显著优秀。

    Dec, 2021

  • 具深度先验知识的室内场景 3D 合成

    该研究提出了一种基于深度的双通道生成器和可切换鉴别器，用于从 2D 数据中合成 3D 感知室内场景的图像，并通过实验表明，该方法可以显著优于现有的最先进的方法。

    Feb, 2022