基于点 - UV 扩散的 3D 网格纹理生成
通过使用一种新颖的方法,我们对给定的带有 UV 参数化的 3D 网格生成纹理,并使用单一的深度对图像扩散网络在 3D 表面上呈现一致的纹理,通过统一多个 2D 图像的扩散路径并通过 MultiDiffusion 技术将其提升为 3D。我们使用评估指标 CLIP-score 和 Frechet Inception Distance (FID) 来评估渲染质量,并展示了相对于之前的研究的改进。
Dec, 2023
GenesisTex 是一种从文本描述中合成 3D 几何纹理的新方法,通过纹理空间采样来适应预训练图像扩散模型,通过全局一致性和局部一致性实现多个视点之间的纹理生成,并通过基于参考的修复和图像转换进一步优化纹理。实验证明,我们的方法在数量和质量上优于基准方法。
Mar, 2024
我们介绍了一种在 3D 形状表面上直接操作的基于内在隐性扩散模型的框架,旨在合成高质量的纹理。通过对网格顶点上的离散矢量场编码纹理的隐式表示和学习在表面上的学习隐空间中去噪扩散过程的隐性扩散模型,我们的方法具有两个贡献。我们考虑了一种单一纹理网格范式,其中我们的模型被训练为在网格上生成给定纹理的变化。我们展示了合成的纹理与现有的单一纹理网格生成模型相比,具有较高的保真度。我们的模型还可以用于用户控制的编辑任务,例如修复缺失和标签引导的生成。我们提出的框架具有在等价变换下的等变性,这部分有助于我们方法的有效性,使我们的模型能够在局部相似区域之间无缝复现细节,并打开了生成纹理迁移的可能性。
Dec, 2023
本文介绍了一种新颖的粗细生成框架 Paint3D,它能根据文本或图像输入,为未纹理化的 3D 网格生成高分辨率、无光照且多样化的 2K UV 纹理贴图。该方法通过利用预训练的深度感知 2D 扩散模型生成视图条件图像,并进行多视图纹理融合,得到初步的粗糙纹理贴图。然后,通过训练专门用于修复不完整区域和消除光照伪影的 UV 修复和 UVHD 扩散模型,解决了粗糙纹理贴图中的不完整区域和光照伪影问题。通过这一粗细过程,Paint3D 能够生成保持语义一致性且无光照的高质量 2K UV 纹理,从而显著推动了 3D 物体纹理制作的现状技术。
Dec, 2023
通过结合 CLIP 和 2D Diffusion 模型,我们提出了一种新的 3DStyle-Diffusion 模型,能够在文本驱动的几何和外观引导下,实现对 3D 网格的细粒度样式化。
Nov, 2023
本文采用一种新方法,通过给定文本提示和 3D 网格来生成 3D 模型的纹理。该方法考虑了额外的深度信息,利用深度条件稳定扩散的评分蒸馏采样过程生成纹理。我们在开源数据集 Objaverse 上运行了模型,并进行了用户研究,与各种 3D 纹理方法的结果进行了比较。我们证明了我们的模型可以生成更令人满意的结果,并为同一对象产生各种艺术风格。此外,在生成可比质量的纹理时,我们取得了更快的时间。我们还进行了彻底的消融研究,研究了不同因素对生成质量的影响,包括采样步骤、引导尺度、负提示、数据增强、高度范围和替代 SDS 方法。
Nov, 2023
我们介绍了一种新的方法,UVMap-ID,这是一种可控和个性化的 UV Map 生成模型,用于为给定的人脸图像生成个性化的纹理贴图,并定义和评估这些生成纹理贴图的质量。
Apr, 2024
介绍一种新颖的方法用于合成给定 3D 对象的纹理,通过预训练的文本到图像扩散模型,提出了一种同步多视点扩散方法,早期生成的纹理内容达成一致,确保纹理的一致性。
Nov, 2023
Sin3DM 是一种学习来自单个 3D 纹理形状的内部图案分布的扩散模型,该模型通过压缩输入到低维潜在空间来降低内存和计算成本,然后通过 Triplan 感知 2D 卷积块来训练模型,可以生成较高质量的 3D 形状,还可以用于重定位,外表绘画和局部编辑。
May, 2023