Apr, 2021

GANcraft: 无监督的 3D 神经渲染 Minecraft 世界

PDF
TL;DRGANcraft 是一种用于生成 Minecraft 等大型三维方块世界的逼真图像的非监督神经渲染框架，该方法采用语义块世界作为输入，并通过伪标签和对抗训练技术进行训练，不需要实际图像作为训练集，从而实现了视角一致的逼真图像渲染，以及用户对场景语义和样式的控制。
发现论文，激发创造
  • DreamCraft: 在 Minecraft 中基于文本指导生成具有功能的 3D 环境

    本文介绍了一种从自由形式文本提示中生成功能性 3D 物品的方法，该方法使用量化的神经辐射场（NeRFs）来表示这些物品，以在游戏中与给定文本描述相匹配。

    Apr, 2024

  • CityCraft：一个用于 3D 城市生成的真实制作工具

    CityCraft 是一种创新框架，结合了三个关键阶段来增强城市场景的多样性和质量，它包括使用扩散变压器模型生成 2D 城市布局，利用大型语言模型根据用户提示和语言指南制定土地利用规划，以及通过资产检索模块和 Blender 进行精确的资产放置和场景构建。CityCraft 在生成逼真的 3D 城市方面取得了最先进的性能。

    Jun, 2024

  • HoloGAN: 从自然图像中的无监督学习 3D 表示

    本文提出了一种新颖 的生成对抗网络 HoloGAN，它使用 3D 表示学习世界，而不使用 2D 核心进行图像合成，可以对生成的物体姿态进行精确控制。与其他 GAN 不同，HoloGAN 可以在不需要标注姿态标签、3D 形状或同一对象的多个视角之前，仅从未标记的 2D 图像中端到端地训练。经实验证明，HoloGAN 可以在完全无监督的情况下从自然图像中学习 3D 表示，具有较高的视觉质量。

    Apr, 2019

  • 人体综合的三维感知语义引导生成模型

    提出了一种基于 3D-SGAN 的语义指导生成模型，利用生成神经辐射场（GNeRF）提取人体的隐式 3D 表示，并用纹理生成器将语义掩码转换为真实图像，为计算机图形学应用中的非刚性物体生成具有照片级真实感的图像。在 DeepFashion 数据集上，比最新的基准表现显著优秀。

    Dec, 2021

  • 语义感知渐进式生成对抗网络（Grad-GAN）用于虚拟到真实城市场景的适应性

    本文提出了一种新的基于 SG-GAN 的虚拟到现实领域自适应方法，可以有效地保留关键语义信息以实现更好的识别。实验证明，与现有 GAN 相比，SG-GAN 在场景自适应方面具有更好的性能，使用 SG-GAN 适应的虚拟图像在语义分割上比原始虚拟数据明显提高。

    Jan, 2018

  • BlockGAN：从未标注的图像中学习 3D 物体感知场景表示

    BlockGAN 是一种图像生成模型，可以从未标记的 2D 图像中学习具有物体感知的 3D 场景表示，并使用显式的 3D 特征来表示场景中的对象，实现了在保持图像真实性的同时，对于每个对象的 3D 姿态和身份进行控制，并学习到物体和属性方面的解耦合表示。

    Feb, 2020

  • 通过学习结构和纹理表示进行 3D 感知图像合成

    通过学习结构特征和纹理特征，我们提出了一种新的 VolumeGAN 框架，它能够更好地生成高保真度的 3D 感知图像，并且具有独立控制形状和外观的能力。

    Dec, 2021

  • 自然图像中的无监督生成式三维形状学习

    本文介绍了一种从自然图像中学习生成 3D 形状的生成模型的全面无监督方法，其中利用 GAN 等深度学习技术实现，从而生成出真实的三维图像，实现了从二维图像向三维图像的转换。

    Oct, 2019

  • 使用隐式映射的视觉三维定位学习模型

    基于学习的方法，使用生成式查询网络（GQNs）与新颖的注意力机制，无需建立显式的点云或体素地图，实现对 Minecraft 中的 3D 场景进行视觉定位任务。

    Jul, 2018

  • 基于层次结构的 GAN 场景生成序列框架

    本文提出了一种基于生成对抗网络的场景生成框架，通过显式控制场景的背景和前景的生成器生成多样化的图像并更好的应对仿射变换和前景物体的遮挡等问题。

    Feb, 2019