Jan, 2024

你所看到的就是你 GAN: 用于高保真 3D GAN 中几何渲染的每个像素

PDF
TL;DR本研究提出了一种扩展神经体素渲染至高分辨率 2D 图像的技术，使得生成对抗网络（GAN）能够以前所未有的细节分辨率合成高分辨率的三维几何物体，并且在维持图像质量的同时保持严格的视角一致性，从而树立了无监督学习 3D GAN 中的三维形状的新标准。
发现论文，激发创造
  • 高效几何感知的三维生成对抗网络

    使用单视角 2D 照片集合进行高质量多视角一致的图片和 3D 形状的非监督生成一直是一个难题，本文提出了一种混合显式 - 隐式网络架构，用于提高 3D GANs 的计算效率和图像质量，实现了高分辨率实时多视角一致的图像合成，同时产生高质量的 3D 几何体。

    Dec, 2021

  • GRAM-HD: 基于生成光辐射流形的高分辨率三维图像生成

    本文提出了一种新的 3D-aware GAN，通过在最近的生成辐射流多面体（GRAM）方法定义的一组 2D 辐射流多面体上应用 2D 卷积并应用专用的损失函数进行高效 GAN 训练，从而避免了 prohibitively-expensive 的计算成本，并能够以体积渲染的严格 3D 一致性生成高分辨率图像（高达 1024X1024）。与现有方法相比，在 FFHQ 和 AFHQv2 数据集上的实验表明，我们的方法能够产生高质量的 3D-consistent 结果，明显优于现有的方法。

    Jun, 2022

  • 多尺度 GAN 用于内存高效生成高分辨率医学图像

    本文提出一种新的基于多尺度补丁的生成对抗网络方法，用于生成大型高分辨率的医学图像，尤其是 3D 体积，解决了 GANs 对于大规模医学图像的计算需求问题。

    Jul, 2019

  • 基于可微分渲染的图像 GAN 逆向图形学和可解释的 3D 神经渲染

    本文利用可微分渲染器提取并分离生成模型中的 3D 知识，将生成对抗网络作为多视图数据生成器，使用现成的可微分渲染器训练逆向图形网络，并将训练好的逆向图形网络作为教师，将 GAN 的潜在向量分离为可解释的 3D 属性。我们的方法在现有数据集上对最先进的逆向图形网络进行定量和用户研究，并显示分离的 GAN 作为可控的 3D “神经渲染器”，补充传统的图形渲染器。

    Oct, 2020

  • 通过学习结构和纹理表示进行 3D 感知图像合成

    通过学习结构特征和纹理特征，我们提出了一种新的 VolumeGAN 框架，它能够更好地生成高保真度的 3D 感知图像，并且具有独立控制形状和外观的能力。

    Dec, 2021

  • EpiGRAF: 重新思考 3D GANs 的训练

    本文介绍了一种名为 EpiGRAF 的高分辨率，高保真纯 3D 图像生成模型，旨在解决通过训练 2D 解码器进行高清分辨率图像生成的问题，该模型通过基于 patches 的不同比例和空间位置的位置和比例感知辨别器以及基于淬火 Beta 分布的 patch 采样策略的两种方式优化训练，最终取得了业内最先进的图像质量和几何形态 。

    Jun, 2022

  • 逆向图形生成对抗网络：从非结构化 2D 数据生成 3D 形状的学习

    本文提出了一种使用通用的不可微分渲染器训练来自 2D 数据的 3D 生成模型的可扩展方法，该方法引入了一个代理神经渲染器来匹配不可微分渲染器的输出。我们进一步提出鉴别器输出匹配以确保神经渲染器学习适当地平滑栅格化。当用纯 2D 图像进行训练时，我们的模型可以比现有模型更好地学习生成更好的 3D 形状。

    Feb, 2020

  • 多视角一致性生成对抗网络用于 3D 感知图像合成

    提出了一种基于多视角一致性生成对抗网络（MVCGAN）的高质量 3D 感知图像综合方法，采用几何约束技术，利用深度和相机变换矩阵等信息实现多视角联合优化，同时采用两阶段训练策略和混合训练技术提高模型的生成图像质量，实验结果表明，本方法达到了最先进的性能水平。

    Apr, 2022

  • 用对抗生成模型生成层级高斯模型的三维生成模型

    本文介绍了一种利用高斯表示三维生成对抗网络（3D GANs）的生成器架构，通过引入分层多尺度高斯表示有效地规范了生成高斯分布的位置和尺度，实现了显著更快的渲染速度，并具备可比较的三维生成能力。

    Jun, 2024

  • 2D GANs 遇见无监督单视角 3D 重建

    提出了一种新的基于图像的神经隐式场方法，该方法利用基于 GAN 生成的多视图图像的 2D 监督，并通过不确定性模块来提高重构性能，从而实现了泛化物体的单视角 3D 重构。

    Jul, 2022