Oct, 2021

CIPS-3D: 基于条件独立像素合成的 3D 感知 GAN 生成器

PDF
TL;DR本文介绍了 CIPS-3D，一个基于 StyleGAN 和 NeRF 的生成器，它能够生成具有 3D 感知能力的高品质图像。该生成器避免了空间卷积或上采样，通过深度内隐神经表示网络合成每个像素值，并通过辅助鉴别器解决了镜像对称问题。 在单视图图像上进行训练后，CIPS-3D 在 FFHQ 数据集上以 6.97 的 FID 成为 3D 感知图像合成的最佳记录，同时展示了多个有趣的方向，如迁移学习和 3D 感知面部风格化。
发现论文，激发创造
  • pi-GAN：周期性隐式生成对抗网络用于三维感知图像合成

    使用周期性激活函数和体积渲染的神经表示，提出了一种新的生成模型，命名为周期性隐式生成对抗网络，用于高质量的 3D 感知图像合成，其能够表示多视角一致的 3D 场景，并在多个真实和合成数据集上获得了最先进的结果。

    Dec, 2020

  • ImageNet 的 3D 生成

    本文提出了一种基于 3D GAN 的 3D 生成器，采用了不同于以往的数据假设、深度框架和相机模型，在多样化数据集（如 ImageNet）上取得了优于现有技术的纹理和几何质量的结果。

    Mar, 2023

  • 3D 感知条件图像合成

    提出了一种名为 pix2pix3D 的 3D 感知条件生成模型，可以进行可控的写实图像合成，并通过神经辐射场扩展了条件生成模型，从而实现了显式的 3D 用户控制，并建立了一个交互系统，允许用户从任意视角编辑标签图，并相应地生成输出。

    Feb, 2023

  • 高效几何感知的三维生成对抗网络

    使用单视角 2D 照片集合进行高质量多视角一致的图片和 3D 形状的非监督生成一直是一个难题，本文提出了一种混合显式 - 隐式网络架构，用于提高 3D GANs 的计算效率和图像质量，实现了高分辨率实时多视角一致的图像合成，同时产生高质量的 3D 几何体。

    Dec, 2021

  • 自由风格和快速的 3D 肖像合成

    提出了一种利用文本提示来指定风格的快速 3D 肖像合成框架，该方法借助生成先验来构建少量样本，采用目标样式替换预训练 3D 生成器的三层平面生成器，从而实现了高质量和一致性风格合成。

    Jun, 2023

  • 2D GANs 遇见无监督单视角 3D 重建

    提出了一种新的基于图像的神经隐式场方法，该方法利用基于 GAN 生成的多视图图像的 2D 监督，并通过不确定性模块来提高重构性能，从而实现了泛化物体的单视角 3D 重构。

    Jul, 2022

  • SYM3D：学习对称三视平面提升 GAN 的三维感知能力

    提出了 SYM3D，一种新颖的 3D-aware GAN，通过利用自然和人造物体中普遍存在的反射对称结构，结合提出的视角感知空间注意机制来学习三维表示，从而在只使用单视图图像进行训练时捕捉详细的几何和纹理，同时证明了在文本到三维任务中利用对称性正则化有助于减少模型中的伪影。

    Jun, 2024

  • 3D 感知图像合成综述

    介绍了近年来深度学习实现的视觉内容创作方法的显著进展，包括 3D 感知生成图像合成，旨在提供一个关于 3D 感知图像合成的综述，为相关领域的研究工作提供有用的参考，并通过我们的讨论部分激发未来的研究方向。

    Oct, 2022

  • 类连续条件生成神经辐射场

    提出了一种新颖的模型 C^3G-NeRF，可以合成具有条件操纵的照片逼真，三维一致图像，在三个图像数据集上进行评估，并表现出强大的三维一致性和平滑的插值。

    Jan, 2023

  • 具深度先验知识的室内场景 3D 合成

    该研究提出了一种基于深度的双通道生成器和可切换鉴别器，用于从 2D 数据中合成 3D 感知室内场景的图像，并通过实验表明，该方法可以显著优于现有的最先进的方法。

    Feb, 2022