MaPa：基于文本的用于 3D 形状的逼真材质绘制

Apr, 2024

MaPa：基于文本的用于 3D 形状的逼真材质绘制

MaPa: Text-driven Photorealistic Material Painting for 3D Shapes

Shangzhan Zhang, Sida Peng, Tao Xu, Yuanbo Yang, Tianrun Chen...

TL;DR本文旨在通过文本描述生成 3D 网格材料。与现有方法合成纹理图不同，我们提出生成分段逐步建模材料图作为外观表示，支持高质量渲染并提供灵活的编辑。我们的方法通过预训练的 2D 扩散模型作为文本和材料图之间的桥梁，而不是依赖于大量的成对数据训练材料图生成模型。通过在生成的图像上初始化材料图参数，并通过可微分渲染模块进行微调，以符合文本描述。大量实验证明我们的框架在逼真度、分辨率和可编辑性方面的性能优于现有方法。

Abstract

This paper aims to generate materials for 3d meshes from text descriptions. Unlike existing methods that synthesize texture maps, we propose to generate segment-wise procedural material graphs as the appearance r

3d meshes procedural material graphs rendering material graph generative model photorealism

发现论文，激发创造

利用生成重绘为 3D 资产注入新生命

基于扩散的文本到图像模型引起了视觉社区、艺术家和内容创作者的极大关注。通过将预训练的 2D 扩散模型和标准的 3D 神经辐射场作为独立的工具结合起来，我们展示了它们在非学习的方式上相互配合的能力。

Sep, 2023

材料调色板：从单张图像中提取材料

本研究提出了一种从单个真实世界图像中提取基于物理的渲染 (PBR) 材料的方法，通过扩散模型将图像的区域映射到材料概念，然后利用独立的网络将生成的纹理分解成空间变化的 BRDFs，并通过无监督领域适应实现对新样本的泛化应用。该方法在合成和真实世界数据集上进行了充分评估，并展示了从实际照片估计的材料编辑 3D 场景的适用性。

Nov, 2023

Paint3D: 光线无关纹理扩散模型绘制 3D 任意图案

本文介绍了一种新颖的粗细生成框架 Paint3D，它能根据文本或图像输入，为未纹理化的 3D 网格生成高分辨率、无光照且多样化的 2K UV 纹理贴图。该方法通过利用预训练的深度感知 2D 扩散模型生成视图条件图像，并进行多视图纹理融合，得到初步的粗糙纹理贴图。然后，通过训练专门用于修复不完整区域和消除光照伪影的 UV 修复和 UVHD 扩散模型，解决了粗糙纹理贴图中的不完整区域和光照伪影问题。通过这一粗细过程，Paint3D 能够生成保持语义一致性且无光照的高质量 2K UV 纹理，从而显著推动了 3D 物体纹理制作的现状技术。

Dec, 2023

纹理三维网格卷积生成

本文提出使用不同 iable rendering 技术生成三角网格和相关高分辨率纹理贴图的框架，以单视角自然图像为 2D 监督，并将网格和纹理编码为 2D 表示，以便使用 2D 卷积 GAN 进行建模，并在 Pascal3D + Cars 和 CUB 上展示了方法的有效性及其评估方法。

Jun, 2020

TexPainter: 多视角一致性的生成网格纹理

通过梯度反向传播间接修改潜在编码，并使用优化方法的颜色融合技术来实现多视角一致性，从而提高生成纹理的质量和一致性。

May, 2024

MatAtlas: 文本驱动的一致性几何纹理和材质分配

我们提出了 MatAtlas，一种用于一致的文本引导的 3D 模型纹理方法。通过利用大规模的文本生成模型（例如稳定的扩散器）作为纹理 3D 模型的先验知识。我们设计了一种 RGB 纹理流程，利用了基于深度和边缘的网格模式扩散。通过提出多步骤的纹理细化过程，我们显著提高了纹理输出的质量和 3D 一致性。为了进一步解决烘焙光照的问题，我们超越了 RGB 颜色，将参数化材质分配给资源。鉴于高质量的初始 RGB 纹理，我们提出了一种利用大语言模型（LLM）的新颖材质检索方法，实现了可编辑性和重光能力。我们在各种几何形状上评估了我们的方法，并展示了我们的方法明显优于先前的方法。通过详细的消融研究，我们还分析了每个组件的作用。

Apr, 2024

刷字：通过扩散模型在图像上合成任意场景文本

提出了 Diff-Text，它是一个训练免费的场景文本生成框架，能够以任何语言的文本和场景的文本描述为输入，输出逼真的照片。通过引入局部化的注意力约束和对比度图像级提示，实现了场景文本的准确生成，并在文本识别准确性和前景背景融合的自然度方面优于现有方法。

Dec, 2023

3DDesigner: 基于文本引导扩散模型的照片般逼真的 3D 物体生成和编辑

本文提出了一种基于文本引导扩散模型的 3D 场景生成、编辑和新视角合成方法，并重点讨论了 3D 一致性、本地编辑和单张图像训练等基础问题，取得了较好的效果。

Nov, 2022

可组合扩散模型下的组合视觉生成

通过解释扩散模型为基于能量的模型，在训练和测试阶段中将一组扩散模型组合在一起，结构化生成，该方法可用于合成预训练的文本指导的扩散模型并生成生动逼真的图像，解决了 DALLE-2 在对象属性方面的困难。

Jun, 2022

DreamSpace: 以文本驱动的全景纹理传播梦想您的房间空间

提出了一种新颖的室内场景纹理生成框架，通过联想和模仿技术，以及采用粗到精的全景纹理生成方法和双重纹理对齐，实现了以文本为驱动的纹理生成，具有迷人的细节和真实的空间一致性。

Oct, 2023