TexFusion:使用文本引导的图像扩散模型合成 3D 纹理
本文提出了一种使用基于文本转图像的扩散模型进行文本到 3D 合成的方法,该方法绕过了需要大规模标记的 3D 数据集和能够去噪的 3D 数据的限制,将 2D 的扩散模型作为先验,通过梯度下降优化 3D 模型(Neural Radiance Field),并使用概率密度蒸馏引入的损失函数将 2D 扩散模型与 3D 模型相结合。这种方法不需要 3D 训练数据,也不需要修改图像扩散模型,证明了使用预训练的图像扩散模型作为先验的有效性。
Sep, 2022
介绍一种新颖的方法用于合成给定 3D 对象的纹理,通过预训练的文本到图像扩散模型,提出了一种同步多视点扩散方法,早期生成的纹理内容达成一致,确保纹理的一致性。
Nov, 2023
本文提出了一种基于文本引导扩散模型的 3D 场景生成、编辑和新视角合成方法,并重点讨论了 3D 一致性、本地编辑和单张图像训练等基础问题,取得了较好的效果。
Nov, 2022
GenesisTex 是一种从文本描述中合成 3D 几何纹理的新方法,通过纹理空间采样来适应预训练图像扩散模型,通过全局一致性和局部一致性实现多个视点之间的纹理生成,并通过基于参考的修复和图像转换进一步优化纹理。实验证明,我们的方法在数量和质量上优于基准方法。
Mar, 2024
通过结合 CLIP 和 2D Diffusion 模型,我们提出了一种新的 3DStyle-Diffusion 模型,能够在文本驱动的几何和外观引导下,实现对 3D 网格的细粒度样式化。
Nov, 2023
我们介绍了一种在 3D 形状表面上直接操作的基于内在隐性扩散模型的框架,旨在合成高质量的纹理。通过对网格顶点上的离散矢量场编码纹理的隐式表示和学习在表面上的学习隐空间中去噪扩散过程的隐性扩散模型,我们的方法具有两个贡献。我们考虑了一种单一纹理网格范式,其中我们的模型被训练为在网格上生成给定纹理的变化。我们展示了合成的纹理与现有的单一纹理网格生成模型相比,具有较高的保真度。我们的模型还可以用于用户控制的编辑任务,例如修复缺失和标签引导的生成。我们提出的框架具有在等价变换下的等变性,这部分有助于我们方法的有效性,使我们的模型能够在局部相似区域之间无缝复现细节,并打开了生成纹理迁移的可能性。
Dec, 2023
通过使用一种新颖的方法,我们对给定的带有 UV 参数化的 3D 网格生成纹理,并使用单一的深度对图像扩散网络在 3D 表面上呈现一致的纹理,通过统一多个 2D 图像的扩散路径并通过 MultiDiffusion 技术将其提升为 3D。我们使用评估指标 CLIP-score 和 Frechet Inception Distance (FID) 来评估渲染质量,并展示了相对于之前的研究的改进。
Dec, 2023
通过文本引导的三维人脸合成,从生成到编辑的统一框架,通过解耦生成几何和纹理来提高几何细节的生成效果,并利用生成几何作为纹理生成的条件,进一步提升几何与纹理的一致性结果;通过预训练扩散模型来更新面部几何或纹理以实现顺序编辑,并引入 UV 域一致性保持正则化以防止对不相关面部属性的无意更改,并提出自导向一致性权重策略以提高编辑效果与保持一致性;通过全面实验展示了该方法在人脸合成方面的优越性。
Dec, 2023
通过利用 2D 扩散先验提高文本到 3D 内容生成的质量和细节,本文提出了一种结合多个噪声估计过程和预训练的 2D 扩散先验的新方法,实验证明该方法相较于基线能够生成更高质量的细节。
Jul, 2023
从文本提示生成任意大小的纹理图像的新方法,通过精调扩散模型实现单一 GPU 上任意分辨率的输出纹理图像,并展示了生成纹理在 3D 渲染和纹理转换中的两个应用。
May, 2024