Feb, 2024
几何条件下的协同控制 PBR 图像生成
Collaborative Control for Geometry-Conditioned PBR Image Generation
Shimon Vainer, Mark Boss, Mathias Parger, Konstantin Kutsy, Dante De Nigris...
TL;DR基于生成模型的 3D 内容生成依赖于 RGB 图像，但现代图形管道需要物理基础渲染（PBR）材质属性。我们提出直接建模 PBR 图像分布，以避免 RGB 生成中的光度不准确和从 RGB 中提取 PBR 时的固有模糊性。通过保留冻结的 RGB 模型并通过一种新颖的跨网络通信范例紧密链接新训练的 PBR 模型，我们克服了现有交叉模态微调范例中的数据不足和输出模态的高维度的挑战。由于基础 RGB 模型完全被冻结，所提出的方法在微调过程中不会出现灾难性遗忘，并与为基础 RGB 模型预训练的 IPAdapter 等技术兼容。我们通过广泛的实验部分验证了我们的设计选择、对数据稀疏性的鲁棒性，并与现有范例进行了比较。