DreamPBR：基于文本和多模态引导生成高分辨率的 SVBRDF

Apr, 2024

DreamPBR：基于文本和多模态引导生成高分辨率的 SVBRDF

DreamPBR: Text-driven Generation of High-resolution SVBRDF with Multi-modal Guidance

Linxuan Xin, Zheng Zhang, Jinfu Wei, Ge Li, Duan Gao

TL;DR通过结合大规模的视觉语言模型和已存在的先验知识，我们提出了 DreamPBR，一种新颖的基于扩散的生成框架，用于创建由文本和多模态控制引导的具有空间变化外观属性的材料，从而提供高度可控性和多样性。通过我们的方法，在材料 creation 和编辑应用方面展示了 DreamPBR 的多功能性和用户友好性。

Abstract

Prior material creation methods had limitations in producing diverse results mainly because reconstruction-based methods relied on real-world measurements and generation-based methods were trained on relatively small material datasets. To address these challenges, we propose dreampbr,

dreampbr material generation spatially-varying appearance properties large-scale vision-language models controllable generation

发现论文，激发创造

DreamMat：基于几何和光照感知扩散模型的高质量 PBR 材质生成

通过 DreamMat 方法从文本描述生成高质量 PBR 材料，解决了从 2D 扩散模型中提取 PBR 材料参数时的错误材料解析问题，并取得了显著的渲染质量优势。

May, 2024

UniDream：统一扩散先验用于可重灯效的文本生成三维

利用 UniDream 框架通过整合统一的扩散先验方法来生成具有清晰的反照率纹理、更光滑表面、增强逼真度和卓越光照效果的 3D 物体。

Dec, 2023

材料调色板：从单张图像中提取材料

本研究提出了一种从单个真实世界图像中提取基于物理的渲染 (PBR) 材料的方法，通过扩散模型将图像的区域映射到材料概念，然后利用独立的网络将生成的纹理分解成空间变化的 BRDFs，并通过无监督领域适应实现对新样本的泛化应用。该方法在合成和真实世界数据集上进行了充分评估，并展示了从实际照片估计的材料编辑 3D 场景的适用性。

Nov, 2023

从自然语言描述生成参数化 BRDF

本文提出一种使用机器学习从文本描述生成双向反射分布函数的模型，以帮助快速生成 3D 环境材质参数表达式并实现交互式编辑。

Jun, 2023

反射融合：基于扩散的文本到 SVBRDF 生成

Reflectance Diffusion 是一种新的神经文本到纹理模型，从文本描述中生成高保真度的 SVBRDF 贴图。该方法通过两个模块的级联神经网络方法来准确地建模空间变化反射的分布。

Apr, 2024

具备渲染感知深度网络的单张图像 SVBRDF 捕获

本文提出了一种基于深度神经网络的轻量级外观捕捉方法，通过多个创新方法如大规模数据集采集、网络设计等，可从单张图片中恢复像素级法线、漫反射、高光反射和高光粗糙度，并对单张空间不均匀 BRDFs 的捕捉进行了优化。

Oct, 2018

MaterialGAN: 使用生成式 SVBRDF 模型进行反射率捕捉

本文利用基于 StyleGAN2 的深度生成卷积网络 MaterialGAN，通过在其潜在表示空间中进行优化，将闪光灯照射下拍摄的图像转化成能够精确还原目标图像的材料贴图，并取得了优于现有技术水平的结果。此外，我们还展示了 MaterialGAN 的高级语义材料编辑操作，例如材料变化和材料形态变化。

Sep, 2020

基于文本的多样人脸纹理生成通过渐进潜空间细化

自动 3D 面部纹理生成的新方法使用渐进潜在空间改进的方式，通过增强生成对抗网络（GANs）和分数蒸馏采样（SDS）相互促进，提供更高质量、丰富多样和高效的照片写实 3D 纹理生成。

Apr, 2024

几何条件下的协同控制 PBR 图像生成

基于生成模型的 3D 内容生成依赖于 RGB 图像，但现代图形管道需要物理基础渲染（PBR）材质属性。我们提出直接建模 PBR 图像分布，以避免 RGB 生成中的光度不准确和从 RGB 中提取 PBR 时的固有模糊性。通过保留冻结的 RGB 模型并通过一种新颖的跨网络通信范例紧密链接新训练的 PBR 模型，我们克服了现有交叉模态微调范例中的数据不足和输出模态的高维度的挑战。由于基础 RGB 模型完全被冻结，所提出的方法在微调过程中不会出现灾难性遗忘，并与为基础 RGB 模型预训练的 IPAdapter 等技术兼容。我们通过广泛的实验部分验证了我们的设计选择、对数据稀疏性的鲁棒性，并与现有范例进行了比较。

Feb, 2024

MATLABER: 材料感知性文本到三维的隐含 BRDF 自动编码器

基于强大的文本到图像扩散模型，文本到三维生成在生成引人注目的几何和外观方面取得了显著进展。本文提出了一种通过潜在 BRDF 自编码器生成材料的材料感知文本到三维生成方法（MATLABER）。通过在大规模真实世界的 BRDF 集合上训练这个自编码器，确保其潜在空间的平滑性，该空间在物料方面具有自然分布特性。在文本到三维生成中的外观建模过程中，通过材料网络预测潜在 BRDF 嵌入，而不是 BRDF 参数。通过详尽的实验，我们的方法在生成逼真连贯的物体材料方面表现出优越性。此外，高质量的材料自然地实现了多个下游任务，如重新照明和材料编辑。代码和模型将公开发布于 https://sheldontsui.github.io/projects/Matlaber。

Aug, 2023