CVPRMar, 2022

GIRAFFE HD: 高分辨率的三维感知生成模型

PDF
TL;DR本文提出了一种高分辨率的 3D 生成模型 ——GIRAFFE HD，该模型继承了 GIRAFFE 模型的所有可控制特性，能够生成高质量、高分辨率的图像，并且通过独立生成前景和背景，并将它们结合起来以组成一个相关性的最终图像，实现了自然图像数据集上的 3D 可控制的高分辨率图像生成。
3d-aware generative modelsimage generationgiraffe hdhigh-resolutionneural renderer
发现论文，激发创造
  • GIRAFFE: 通过组合生成神经特征场来表示场景

    本研究通过将基于组合的 3D 场景表示方法引入生成模型中，以实现更可控的图像合成。实验证明，该模型能够分离物体并实现场景中的物体变换、摆放等操作。

    Nov, 2020

  • GRAM-HD: 基于生成光辐射流形的高分辨率三维图像生成

    本文提出了一种新的 3D-aware GAN，通过在最近的生成辐射流多面体（GRAM）方法定义的一组 2D 辐射流多面体上应用 2D 卷积并应用专用的损失函数进行高效 GAN 训练，从而避免了 prohibitively-expensive 的计算成本，并能够以体积渲染的严格 3D 一致性生成高分辨率图像（高达 1024X1024）。与现有方法相比，在 FFHQ 和 AFHQv2 数据集上的实验表明，我们的方法能够产生高质量的 3D-consistent 结果，明显优于现有的方法。

    Jun, 2022

  • 高效几何感知的三维生成对抗网络

    使用单视角 2D 照片集合进行高质量多视角一致的图片和 3D 形状的非监督生成一直是一个难题，本文提出了一种混合显式 - 隐式网络架构，用于提高 3D GANs 的计算效率和图像质量，实现了高分辨率实时多视角一致的图像合成，同时产生高质量的 3D 几何体。

    Dec, 2021

  • 3D-GOI：多方位和多物体编辑的 3D GAN 全逆转

    该研究提出了一种 3D 编辑框架，3D-GOI，可实现对多个物体上的仿射信息（比例、平移和旋转）进行多方面编辑。

    Nov, 2023

  • GAUDI：用于沉浸式 3D 场景生成的神经结构设计师

    GAUDI 是一种生成模型，能够捕捉到复杂、逼真的三维场景的分布，并能够实时渲染出来。它以一种可扩展但强大的方式解决了这个具有挑战性的问题，首先优化了一个潜在表示，将辐射场和摄像机姿态进行了解耦。然后利用这个潜在表示来学习一个生成模型，使得它能够无条件和有条件地生成 3D 场景。GAUDI 能够对多个数据集在无条件生成的情况下达到最先进的性能水平，并且可以在给定稀疏图像观测或文本描述场景等条件变量的情况下生成有条件的 3D 场景。

    Jul, 2022

  • GiraffeDet: 一种重颈视角的物体检测模型

    本研究提出了 GiraffeDet，一个新的物体检测模型，采用轻量级的 backbone 和深度大的 neck 模块设计，优先处理高层次语义信息和低层次空间信息，从而提高检测效果。

    Feb, 2022

  • C3DAG：使用 3D 姿势指导的受控 3D 动物生成

    C3DAG 是一个新颖的姿势控制的文本到 3D 动物生成框架，通过提供高质量的 3D 模型，解决了当前方法在生成动物时存在的解剖和几何不准确的问题。

    Jun, 2024

  • EpiGRAF: 重新思考 3D GANs 的训练

    本文介绍了一种名为 EpiGRAF 的高分辨率，高保真纯 3D 图像生成模型，旨在解决通过训练 2D 解码器进行高清分辨率图像生成的问题，该模型通过基于 patches 的不同比例和空间位置的位置和比例感知辨别器以及基于淬火 Beta 分布的 patch 采样策略的两种方式优化训练，最终取得了业内最先进的图像质量和几何形态 。

    Jun, 2022

  • 人体综合的三维感知语义引导生成模型

    提出了一种基于 3D-SGAN 的语义指导生成模型，利用生成神经辐射场（GNeRF）提取人体的隐式 3D 表示，并用纹理生成器将语义掩码转换为真实图像，为计算机图形学应用中的非刚性物体生成具有照片级真实感的图像。在 DeepFashion 数据集上，比最新的基准表现显著优秀。

    Dec, 2021

  • CAMPARI: 相机感知的分解式生成神经辐射场

    本文提出了一种深度生成模型，它是基于 3D 且与摄像机相关的，通过将场景分成背景和前景模型，并学习摄像机与图像生成器，达到了更高效且可分离的场景再现效果。

    Mar, 2021