利用 2D 数据学习纹理 3D 网格生成
本文提出使用不同 iable rendering 技术生成三角网格和相关高分辨率纹理贴图的框架,以单视角自然图像为 2D 监督,并将网格和纹理编码为 2D 表示,以便使用 2D 卷积 GAN 进行建模,并在 Pascal3D + Cars 和 CUB 上展示了方法的有效性及其评估方法。
Jun, 2020
本文提出了一种基于 GAN 框架生成纹理三角形网格的方法,可以不依赖关键点注释,同时在 ImageNet 上设置了新的基准,相比基于真实关键点的先前方法性能相当。
Mar, 2021
GET3D 是一种 3D 生成模型,能够直接生成具有复杂拓扑结构、丰富几何细节和高保真纹理的显式纹理 3D 网格,从而显著改进了以往的方法。
Sep, 2022
使用名为 3DTextureTransformer 的新颖框架,结合几何深度学习和 StyleGAN 类似的架构,能够在不改变原始高分辨率输入网格拓扑的情况下生成高质量的纹理。该架构在学习来自 3D 几何体和现实世界 2D 图像的情况下,与任意网格拓扑一起工作,取得了该类解决方案中的最新性能。
Mar, 2024
本文介绍了一种从自然图像中学习生成 3D 形状的生成模型的全面无监督方法,其中利用 GAN 等深度学习技术实现,从而生成出真实的三维图像,实现了从二维图像向三维图像的转换。
Oct, 2019
Mesh2Tex 使用一种混合网格神经场纹理表示法,从未相关的三维物体几何和照片逼真的 RGB 图像的集合中学习出真实的物体纹理流形,以生成适用于下游应用和 3D 渲染的纹理对象,并可以在具有挑战性的真实世界场景下有效地生成逼真的物体纹理。
Apr, 2023
论文提出了一种统一框架,用于解决单幅图像特定类别的 3D 重建和新 3D 形状生成的问题。该方法支持弱监督学习,只需要单个实例的 2D 图像,使用网格作为输出表示,并利用光照信息提高了性能。实验结果表明,该方法在定量度量上与最新的基于体素方法相当或优于,而且结果更加美观,并且在弱监督学习方面表现良好。
Jul, 2018
本文提出一种新的方法,利用预训练的文字转图像模型作为先验知识,从真实世界数据中的单个去噪过程中生成多视角图像,并且通过在现有 U-Net 网络的每个块中整合 3D 体渲染和跨帧注意力层,设计出自回归生成方法,在任意视点上呈现更具一致性的 3D 图像。与现有方法相比,我们的方法生成的结果是一致的,并且具有优秀的视觉质量(FID 降低 30%,KID 降低 37%)。
Mar, 2024