ICCVSep, 2023

SideGAN: 用于改进侧视图图像生成的三维感知生成模型

PDF
TL;DR通过将问题拆分为两个子问题，我们提出了 SideGAN，一种新颖的 3D GAN 训练方法，用于生成与相机位置无关的逼真图像，特别适用于侧视角的人脸。
3d-aware generative modelsphoto-realistic image synthesiscamera posesideganpose-consistent image synthesis
发现论文，激发创造
  • 3DHumanGAN: 面向照片般逼真的三维感知人体图像生成

    本文提出了一种名为 3DHumanGAN 的生成对抗网络（GAN），用于合成全身人体的图像，具有在不同视角和姿势下一致的外观。该模型采用了 2D 卷积背骨由 3D 姿态映射网络调制的生成器架构，能够生成具有 3D 人体先验知识和一致性的逼真图像，并通过对抗学习从网络图片中学习而来。

    Dec, 2022

  • SYM3D：学习对称三视平面提升 GAN 的三维感知能力

    提出了 SYM3D，一种新颖的 3D-aware GAN，通过利用自然和人造物体中普遍存在的反射对称结构，结合提出的视角感知空间注意机制来学习三维表示，从而在只使用单视图图像进行训练时捕捉详细的几何和纹理，同时证明了在文本到三维任务中利用对称性正则化有助于减少模型中的伪影。

    Jun, 2024

  • 多视角一致性生成对抗网络用于 3D 感知图像合成

    提出了一种基于多视角一致性生成对抗网络（MVCGAN）的高质量 3D 感知图像综合方法，采用几何约束技术，利用深度和相机变换矩阵等信息实现多视角联合优化，同时采用两阶段训练策略和混合训练技术提高模型的生成图像质量，实验结果表明，本方法达到了最先进的性能水平。

    Apr, 2022

  • 超越脸部旋转：全局和局部感知 GAN 用于逼真且保留身份特征的前方合成

    本文提出了一种基于 TP-GAN 网络的真实主观正面合成方法，通过引入对局部纹理的注意力网络，并结合对称损失、身份保留损失等方式来解决这个本质上存在不确定性的挑战性问题。实验结果表明，该方法不仅在感知结果上表现出色，而且在大角度人脸识别方面也优于现有的最新方法。

    Apr, 2017

  • 3D-SSGAN: 二维语义向三维感知组合肖像合成

    3D-SSGAN 是一个新颖的 3D 感知合成肖像图像的框架，通过提供细粒度的部件级控制，并保持 3D 视图的一致性，在合成肖像图像的同时实现了清晰的人脸区域解缠，其通过引入一个基于深度引导的 2D 到 3D 映射模块和一个具有新颖的 3D 感知语义掩码渲染器的体积渲染器来生成合成的人脸特征和相应的掩码，并通过区分真实和合成的 2D 图像和语义掩码的方式进行端到端的训练，定量和定性评估证明了 3D-SSGAN 在可控的部件级合成和保持 3D 视图一致性方面的优越性。

    Jan, 2024

  • 基于 3D GAN 的大姿态人脸识别改进

    研究使用生成的合成数据进行面部识别的训练。通过在 GAN 的产生器中引入 3D 可塑模型，实现了从实际图像中学习非线性纹理模型，从而生成新的合成身份，同时操作姿势、照明和表情，而不会影响身份。最终使用生成的数据增加现有面部识别网络的训练，性能得到改善。

    Dec, 2020

  • SofGAN：一种具有动态风格的肖像图像生成器

    提出了一种 SofGAN 图像生成器来将肖像的潜在空间分解为几何空间和纹理空间，在经过一系列实验后，展示了该系统可以生成具有对几何和纹理属性具有独立可控性的高质量肖像图像。

    Jul, 2020

  • BallGAN: 球形背景下的 3D 感知图像合成

    提出一种名为 BallGAN 的 3D 感知 GAN 框架，通过近似背景为球面并将场景表示为背景内的前景和薄球形背景的并集的方法，减少背景领域中的自由度，以解决现有方法存在的 3D 几何不自然与训练不稳定的问题，从而实现更合理的 3D 几何和更好的图像一致性和保真度。

    Jan, 2023

  • 从单视角肖像数据集学习全头部三维生成对抗网络

    我们提供了第一个 3D 感知的全头像肖像生成器，它从包含多种摄像参数和身体姿势的高质量单视角真实肖像数据集学习一个规范化的 3D 化身分布，并利用我们的规范化生成器产生符合数据集身体姿态分布的变形结果来生成自各个摄像角度（360°）具有完整 3D 几何的视一致逼真肖像图像。

    Jul, 2023

  • HoloGAN: 从自然图像中的无监督学习 3D 表示

    本文提出了一种新颖 的生成对抗网络 HoloGAN，它使用 3D 表示学习世界，而不使用 2D 核心进行图像合成，可以对生成的物体姿态进行精确控制。与其他 GAN 不同，HoloGAN 可以在不需要标注姿态标签、3D 形状或同一对象的多个视角之前，仅从未标记的 2D 图像中端到端地训练。经实验证明，HoloGAN 可以在完全无监督的情况下从自然图像中学习 3D 表示，具有较高的视觉质量。

    Apr, 2019