Dec, 2023

Paint3D: 光线无关纹理扩散模型绘制 3D 任意图案

PDF
TL;DR本文介绍了一种新颖的粗细生成框架 Paint3D，它能根据文本或图像输入，为未纹理化的 3D 网格生成高分辨率、无光照且多样化的 2K UV 纹理贴图。该方法通过利用预训练的深度感知 2D 扩散模型生成视图条件图像，并进行多视图纹理融合，得到初步的粗糙纹理贴图。然后，通过训练专门用于修复不完整区域和消除光照伪影的 UV 修复和 UVHD 扩散模型，解决了粗糙纹理贴图中的不完整区域和光照伪影问题。通过这一粗细过程，Paint3D 能够生成保持语义一致性且无光照的高质量 2K UV 纹理，从而显著推动了 3D 物体纹理制作的现状技术。
paint3dcoarse-to-fine generative framework2k uv texture mapsuntextured 3d mesheslighting-less
发现论文，激发创造
  • 利用生成重绘为 3D 资产注入新生命

    基于扩散的文本到图像模型引起了视觉社区、艺术家和内容创作者的极大关注。通过将预训练的 2D 扩散模型和标准的 3D 神经辐射场作为独立的工具结合起来，我们展示了它们在非学习的方式上相互配合的能力。

    Sep, 2023

  • TexPainter: 多视角一致性的生成网格纹理

    通过梯度反向传播间接修改潜在编码，并使用优化方法的颜色融合技术来实现多视角一致性，从而提高生成纹理的质量和一致性。

    May, 2024

  • 通过扩散模型从一张单照片中重光一个重光可调的 3D 人脸

    该论文提出了第一种使用扩散模型作为先验的高精度三维面部 BRDF 重建方法，通过利用高质量的 UV 数据集进行渲染，使用样本处理过程来训练扩散模型，并在测试时通过对给定图像进行三维可塑模型拟合和 UV 纹理解耦，从而能够单个去噪步骤中完成掩蔽区域的纹理完成和未知反射组分的纹理自动填充，相较于现有方法，该方法更能忠实地和一致地估算反射率。

    May, 2023

  • Inpaint3D: 使用 2D 修复扩散生成 3D 场景内容

    本文介绍了一种新颖的方法，通过将 2D 扩散模型提炼为学习的 3D 场景表示（例如 NeRF），对给定的有掩模的多视图图像进行 3D 区域修补。

    Dec, 2023

  • RenderDiffusion：用于 3D 重建、修补与生成的图像扩散

    本文提出了 RenderDiffusion，这是第一个用于 3D 生成和推断的扩散模型，使用仅有的单眼 2D 监督进行训练，并采用新颖的图像去噪架构进行中间的三维表示，以提供强烈归纳结构，同时仅需要 2D 监督。我们在 FFHQ、AFHQ、ShapeNet 和 CLEVR 数据集上评估了 RenderDiffusion，展示了生成 3D 场景和从 2D 图像中推理 3D 场景的竞争性表现。此外，我们的扩散型方法还使我们能够使用 2D 修复来编辑 3D 场景。

    Nov, 2022

  • Repaint123：高质量的快速一图生成 3D 技术，具有渐进可控 2D 再绘制

    将图像生成、三维、多视角一致性、纹理退化和重新绘制策略作为主要研究区域，提出一种能够快速生成高质量三维内容的方法。

    Dec, 2023

  • 一致网格扩散

    通过使用一种新颖的方法，我们对给定的带有 UV 参数化的 3D 网格生成纹理，并使用单一的深度对图像扩散网络在 3D 表面上呈现一致的纹理，通过统一多个 2D 图像的扩散路径并通过 MultiDiffusion 技术将其提升为 3D。我们使用评估指标 CLIP-score 和 Frechet Inception Distance (FID) 来评估渲染质量，并展示了相对于之前的研究的改进。

    Dec, 2023

  • TexFusion：使用文本引导的图像扩散模型合成 3D 纹理

    TexFusion（纹理扩散）是一种新的方法，利用大规模的文本引导图像扩散模型，对给定的三维几何图形进行纹理合成。

    Oct, 2023

  • 同步多视角扩散下的文本引导纹理

    介绍一种新颖的方法用于合成给定 3D 对象的纹理，通过预训练的文本到图像扩散模型，提出了一种同步多视点扩散方法，早期生成的纹理内容达成一致，确保纹理的一致性。

    Nov, 2023

  • 基于扩散的图像修复与内部学习

    本文提出了一种用于图像修复的轻量级扩散模型，可以在单幅图像或几幅图像上进行训练，结果表明我们的方法在某些情况下可以与大型先进模型竞争，特别适用于与标准学习数据库中的 RGB 图像不同的图像获取模态，并在纹理图像、线条图像和材料 BRDF 等三个不同情境中取得了逼真度方面的最新成果，与相应方法相比计算负荷大大减少。

    Jun, 2024