CVPRDec, 2021

GRAM：用于 3D 感知图像生成的生成辐射流多面体

PDF
TL;DR提出一种在三维体积中学习隐式表面的方法，从而有效地进行点采样和辐射场学习，在保持 3D 一致性的同时生成高质量、具有真实细节的图像。
3d-aware image generative modelingneural radiance fieldpoint samplingimplicit surfacesfine details
发现论文，激发创造
  • 从单目图像学习详细辐射流形，实现高保真和三维一致的肖像合成

    该研究基于生成光辐射流流形模型的最近提出的 3D 感知 GAN-Gram，介绍了一种适用于单目头像的三维相容视角合成方法，该方法使用细节流形重构器来学习纹理细节，并将其与光辐射流流形相结合，以实现高保真三维头像重建。

    Nov, 2022

  • GRAM-HD: 基于生成光辐射流形的高分辨率三维图像生成

    本文提出了一种新的 3D-aware GAN，通过在最近的生成辐射流多面体（GRAM）方法定义的一组 2D 辐射流多面体上应用 2D 卷积并应用专用的损失函数进行高效 GAN 训练，从而避免了 prohibitively-expensive 的计算成本，并能够以体积渲染的严格 3D 一致性生成高分辨率图像（高达 1024X1024）。与现有方法相比，在 FFHQ 和 AFHQv2 数据集上的实验表明，我们的方法能够产生高质量的 3D-consistent 结果，明显优于现有的方法。

    Jun, 2022

  • GRAF: 用于三维感知图像合成的生成辐射场

    本文提出了一种基于放射场的生成模型，该模型具有高保真度的可渲染三维一致模型，能够更准确地控制相机视点和物体姿态，并通过一个多尺度基于补丁的鉴别器来演示高分辨率图像的合成。

    Jul, 2020

  • 生成式神经关节辐射场

    提出使用 3D GAN 框架对人体或脸部特征进行辐射场生成，通过显式变形场将其变形为期望的姿势或表情，并展示了编辑生成体或脸部特征时显式变形训练过程在提高其质量方面的显著优势。

    Jun, 2022

  • 通过学习结构和纹理表示进行 3D 感知图像合成

    通过学习结构特征和纹理特征，我们提出了一种新的 VolumeGAN 框架，它能够更好地生成高保真度的 3D 感知图像，并且具有独立控制形状和外观的能力。

    Dec, 2021

  • 人体综合的三维感知语义引导生成模型

    提出了一种基于 3D-SGAN 的语义指导生成模型，利用生成神经辐射场（GNeRF）提取人体的隐式 3D 表示，并用纹理生成器将语义掩码转换为真实图像，为计算机图形学应用中的非刚性物体生成具有照片级真实感的图像。在 DeepFashion 数据集上，比最新的基准表现显著优秀。

    Dec, 2021

  • GRF：学习通用辐射场进行三维表示与渲染

    这篇研究论文提出了一种新型神经网络，可以从 2D 观察中隐式地表示和渲染 3D 物体和场景，通过将 2D 图像中的像素特征投影到 3D 点上，并使用聚合策略来考虑视觉遮挡，生成高质量逼真的新视角。

    Oct, 2020

  • VeRi3D：基于顶点的辐射场生成模型用于 3D 可控人体图像合成

    提出了 VeRi3D，一种基于顶点的生成型人体辐射场，通过使用 SMPL 的参数人体模板来实现顶点参数化，从而解决了学习人体生成模型的泛化能力和可控性问题，能够自由地控制相机姿态、人体姿态、形状，以及进行部分级别的编辑，实现了生成逼真的人体图像。

    Sep, 2023

  • 基于阴影引导的生成式隐式模型用于精确形状的 3D 感知图像合成

    本研究提出了一种基于阴影引导的生成式隐式模型，该模型利用多角度光照约束对 3D 物体进行建模，使得在不同光照条件下产生逼真的渲染效果，从而改善先前方法在表达精确 3D 形状方面的局限性，并成功应用于图像重照和 3D 形状重建任务。

    Oct, 2021

  • 基于组合神经辐射场的语义三维感知人像合成与操作

    通过分割语义区域并利用神经辐射场学习各自的辐射场，最后合并成完整图像，CNeRF 方法可以实现细粒度的语义区域操作，同时维持高质量的 3D 一致合成。

    Feb, 2023