文本引导的高清一致纹理模型
通过使用一种新颖的方法,我们对给定的带有 UV 参数化的 3D 网格生成纹理,并使用单一的深度对图像扩散网络在 3D 表面上呈现一致的纹理,通过统一多个 2D 图像的扩散路径并通过 MultiDiffusion 技术将其提升为 3D。我们使用评估指标 CLIP-score 和 Frechet Inception Distance (FID) 来评估渲染质量,并展示了相对于之前的研究的改进。
Dec, 2023
介绍一种新颖的方法用于合成给定 3D 对象的纹理,通过预训练的文本到图像扩散模型,提出了一种同步多视点扩散方法,早期生成的纹理内容达成一致,确保纹理的一致性。
Nov, 2023
本文采用一种新方法,通过给定文本提示和 3D 网格来生成 3D 模型的纹理。该方法考虑了额外的深度信息,利用深度条件稳定扩散的评分蒸馏采样过程生成纹理。我们在开源数据集 Objaverse 上运行了模型,并进行了用户研究,与各种 3D 纹理方法的结果进行了比较。我们证明了我们的模型可以生成更令人满意的结果,并为同一对象产生各种艺术风格。此外,在生成可比质量的纹理时,我们取得了更快的时间。我们还进行了彻底的消融研究,研究了不同因素对生成质量的影响,包括采样步骤、引导尺度、负提示、数据增强、高度范围和替代 SDS 方法。
Nov, 2023
一篇介绍了一个优化框架以实现多视角一致性的研究论文,通过四个阶段的处理,生成多个 2D 纹理和相互一致的视图,并进行非刚性对齐与关联,实验结果表明该方法在质量和数量上均显著优于基准方法。
Mar, 2024
从文本提示生成任意大小的纹理图像的新方法,通过精调扩散模型实现单一 GPU 上任意分辨率的输出纹理图像,并展示了生成纹理在 3D 渲染和纹理转换中的两个应用。
May, 2024
本文提出一种新的方法,利用预训练的文字转图像模型作为先验知识,从真实世界数据中的单个去噪过程中生成多视角图像,并且通过在现有 U-Net 网络的每个块中整合 3D 体渲染和跨帧注意力层,设计出自回归生成方法,在任意视点上呈现更具一致性的 3D 图像。与现有方法相比,我们的方法生成的结果是一致的,并且具有优秀的视觉质量(FID 降低 30%,KID 降低 37%)。
Mar, 2024
通过文本引导的三维人脸合成,从生成到编辑的统一框架,通过解耦生成几何和纹理来提高几何细节的生成效果,并利用生成几何作为纹理生成的条件,进一步提升几何与纹理的一致性结果;通过预训练扩散模型来更新面部几何或纹理以实现顺序编辑,并引入 UV 域一致性保持正则化以防止对不相关面部属性的无意更改,并提出自导向一致性权重策略以提高编辑效果与保持一致性;通过全面实验展示了该方法在人脸合成方面的优越性。
Dec, 2023
通过利用 2D 扩散先验提高文本到 3D 内容生成的质量和细节,本文提出了一种结合多个噪声估计过程和预训练的 2D 扩散先验的新方法,实验证明该方法相较于基线能够生成更高质量的细节。
Jul, 2023