Sep, 2024

GenesisTex2: 稳定、一致且高质量的文本到纹理生成

HTML
PDF
TL;DR本研究针对现有文本到图像生成模型在3D几何体纹理合成中的局限性进行了探讨，提出了一种新颖的文本到纹理合成框架。该框架通过预训练的扩散模型及局部注意力重加权机制，提高了局部细节并保持了跨视角一致性，从而在纹理一致性和视觉质量上显著优于现有最先进技术。研究成果具有高度适应性，无需额外训练或微调，适用于各种公开平台模型。
发现论文，激发创造
  • 文本引导的高清一致纹理模型

    本文提出了高清晰一致纹理模型，使用深度图和文本提示生成高清晰、一致的三维 meshes 纹理。

    May, 2023

  • TexFusion：使用文本引导的图像扩散模型合成3D纹理

    TexFusion（纹理扩散）是一种新的方法，利用大规模的文本引导图像扩散模型，对给定的三维几何图形进行纹理合成。

    Oct, 2023

  • 同步多视角扩散下的文本引导纹理

    介绍一种新颖的方法用于合成给定 3D 对象的纹理，通过预训练的文本到图像扩散模型，提出了一种同步多视点扩散方法，早期生成的纹理内容达成一致，确保纹理的一致性。

    Nov, 2023

  • 基于文本指导的三维人脸合成 -- 从生成到编辑

    通过文本引导的三维人脸合成，从生成到编辑的统一框架，通过解耦生成几何和纹理来提高几何细节的生成效果，并利用生成几何作为纹理生成的条件，进一步提升几何与纹理的一致性结果；通过预训练扩散模型来更新面部几何或纹理以实现顺序编辑，并引入UV域一致性保持正则化以防止对不相关面部属性的无意更改，并提出自导向一致性权重策略以提高编辑效果与保持一致性；通过全面实验展示了该方法在人脸合成方面的优越性。

    Dec, 2023

  • ViewDiff：利用文本到图像模型的3D一致图像生成

    本文提出一种新的方法，利用预训练的文字转图像模型作为先验知识，从真实世界数据中的单个去噪过程中生成多视角图像，并且通过在现有 U-Net 网络的每个块中整合 3D 体渲染和跨帧注意力层，设计出自回归生成方法，在任意视点上呈现更具一致性的 3D 图像。与现有方法相比，我们的方法生成的结果是一致的，并且具有优秀的视觉质量（FID降低30%，KID降低37%）。

    Mar, 2024

  • GenesisTex: 将图像去噪扩散应用于纹理空间的适应

    GenesisTex是一种从文本描述中合成3D几何纹理的新方法，通过纹理空间采样来适应预训练图像扩散模型，通过全局一致性和局部一致性实现多个视点之间的纹理生成，并通过基于参考的修复和图像转换进一步优化纹理。实验证明，我们的方法在数量和质量上优于基准方法。

    Mar, 2024

  • 无限纹理：基于文本引导的高分辨率扩散纹理合成

    从文本提示生成任意大小的纹理图像的新方法，通过精调扩散模型实现单一GPU上任意分辨率的输出纹理图像，并展示了生成纹理在3D渲染和纹理转换中的两个应用。

    May, 2024

  • Meta 3D纹理生成：3D物体快速、一致纹理生成

    基于文本到图像模型，研究生成具有全局一致性和高分辨率 UV 纹理的 Meta 3D TextureGen 方法，实现了高质量、高效率的任意复杂度三维纹理生成。

    Jul, 2024

  • TexGen：基于文本的三维纹理生成与多视角采样和重采样

    本研究针对现有三维纹理生成方法中存在的接缝明显与平滑过度的问题，提出了TexGen框架，利用预训练的文本到图像扩散模型进行多视角采样与重采样。研究表明，该方法显著提升了多种三维物体的纹理质量，实现视角一致性和细节丰富性，同时也可用于纹理编辑。

    Aug, 2024

  • RoCoTex：一种基于扩散模型的强健一致纹理合成方法

    本文针对现有文本到纹理生成方法中的视角不一致和纹理与网格不对齐等问题，提出了一种强健的文本到纹理生成方法。该方法利用先进的2D扩散模型，结合对称视图合成策略和区域提示，显著提升了生成纹理的一致性和无缝性，实验证明其在性能上优于现有的最先进方法。

    Sep, 2024