Jun, 2024
单张图像的神经外观建模
Neural Appearance Modeling From Single Images
Jay Idema, Pieter Peers
TL;DR我们提出了一种材料外观建模神经网络，用于可视化根据多样的视角和光照条件，在只有一张材料的照片作为输入的情况下，对合理的、在空间上有变化的材料进行外观估计。我们的神经结构由两个网络阶段组成：一个网络从单个输入照片中推断材料的每一像素的学习到的神经参数，和一个利用这些神经参数渲染材料的网络，类似于 BRDF。我们在一组 312,165 个合成的空间变化范例上训练我们的模型。由于我们的方法推断学习到的神经参数而不是分析的 BRDF 参数，我们的方法能够将各向异性和全局照明（像素间的相互作用）信息编码为单个像素参数。我们通过与之前的工作进行性能比较来展示我们模型的表现，并通过将其实现到 Mitsuba3 渲染引擎中，证明了渲染网络作为 BRDF 的可行性。最后，我们简要讨论了神经参数编码全局照明信息的能力。