Jun, 2020

纹理三维网格卷积生成

PDF
TL;DR本文提出使用不同 iable rendering 技术生成三角网格和相关高分辨率纹理贴图的框架，以单视角自然图像为 2D 监督，并将网格和纹理编码为 2D 表示，以便使用 2D 卷积 GAN 进行建模，并在 Pascal3D + Cars 和 CUB 上展示了方法的有效性及其评估方法。
generative models3d reasoningdifferentiable renderingtriangle meshestexture maps
发现论文，激发创造
  • 利用 2D 数据学习纹理 3D 网格生成

    本研究提出了第一种用于生成有纹理的 3D 网格的生成模型，并且引入了一种全新的 3D 网格生成过程，以保证不会出现自交问题，我们在合成数据和自然图像上进行了广泛的实验，结果表明我们的方法成功学习生成了五种具有挑战性的物体类别的合理和多样化的纹理 3D 样本。

    Apr, 2020

  • 从真实世界图像中学习纹理三维网格的生成模型

    本文提出了一种基于 GAN 框架生成纹理三角形网格的方法，可以不依赖关键点注释，同时在 ImageNet 上设置了新的基准，相比基于真实关键点的先前方法性能相当。

    Mar, 2021

  • GET3D: 从图像中学习高质量 3D 纹理形状的生成模型

    GET3D 是一种 3D 生成模型，能够直接生成具有复杂拓扑结构、丰富几何细节和高保真纹理的显式纹理 3D 网格，从而显著改进了以往的方法。

    Sep, 2022

  • 3DTextureTransformer：对任意网格拓扑进行几何感知纹理生成

    使用名为 3DTextureTransformer 的新颖框架，结合几何深度学习和 StyleGAN 类似的架构，能够在不改变原始高分辨率输入网格拓扑的情况下生成高质量的纹理。该架构在学习来自 3D 几何体和现实世界 2D 图像的情况下，与任意网格拓扑一起工作，取得了该类解决方案中的最新性能。

    Mar, 2024

  • ViewDiff：利用文本到图像模型的 3D 一致图像生成

    本文提出一种新的方法，利用预训练的文字转图像模型作为先验知识，从真实世界数据中的单个去噪过程中生成多视角图像，并且通过在现有 U-Net 网络的每个块中整合 3D 体渲染和跨帧注意力层，设计出自回归生成方法，在任意视点上呈现更具一致性的 3D 图像。与现有方法相比，我们的方法生成的结果是一致的，并且具有优秀的视觉质量（FID 降低 30%，KID 降低 37%）。

    Mar, 2024

  • 深度几何纹理合成

    本研究提出了一种新的框架，用于学习几何纹理统计知识以生成具备放射性的深层特征，使得可以实现在不同层次上的网格顶点位移及纹理转移。

    Jun, 2020

  • CTGAN：3D 形状的语义引导条件纹理生成器

    本研究提出了基于语义指导的条件纹理生成器（CTGAN），用于生成具有与视角一致且尊重形状语义的高质量 3D 纹理，通过精细操作潜在编码实现对生成纹理的风格和结构的显式控制，并通过输入分割进一步增强对纹理结构的控制，实验证明 CTGAN 在多个质量评估指标上优于现有的方法，并在有条件和无条件场景下实现了最先进的纹理生成性能。

    Feb, 2024

  • IT3D：通过显式视图合成改进的文本生成 3D 方法

    利用多视角图像和 Diffusion-GAN 方法在 Text-to-3D 技术中生成高质量图像。

    Aug, 2023

  • 3DGEN：一种基于 GAN 的从图像数据生成新的 3D 模型的方法

    我们提出了 3DGEN 模型，它利用最近在物体重建和基于 GAN 的图像生成方面的工作，可以为训练图像的同一类别对象生成可信的三维网格，并将生成的网格与当前最先进的基准模型进行比较，取得了可见的生成质量改进。

    Dec, 2023

  • Guide3D：根据文本和图像指导创建 3D 化身

    通过结合文字和图像信息，利用扩散模型，我们开发了一种零样本的三维生成模型，能够合成高分辨率纹理网格，实现了将二维图像直接转化为三维空间的功能。

    Aug, 2023