我们提出了一种材料外观建模神经网络，用于可视化根据多样的视角和光照条件，在只有一张材料的照片作为输入的情况下，对合理的、在空间上有变化的材料进行外观估计。我们的神经结构由两个网络阶段组成：一个网络从单个输入照片中推断材料的每一像素的学习到的神经参数，和一个利用这些神经参数渲染材料的网络，类似于 BRDF。我们在一组 312,165 个合成的空间变化范例上训练我们的模型。由于我们的方法推断学习到的神经参数而不是分析的 BRDF 参数，我们的方法能够将各向异性和全局照明（像素间的相互作用）信息编码为单个像素参数。我们通过与之前的工作进行性能比较来展示我们模型的表现，并通过将其实现到 Mitsuba3 渲染引擎中，证明了渲染网络作为 BRDF 的可行性。最后，我们简要讨论了神经参数编码全局照明信息的能力。

Jun, 2024

本文提出了一种使用神经渲染框架的方法，通过利用预测的深度数据和光源分割掩模，从单个图像中编辑复杂室内照明，解决了通过局部 LDR 场景观察从而对 HDR 照明进行建模和分离的难题，其特点在于综合使用场景重建和参数化 3D 照明的方法。

May, 2022

本研究提出了一种从单个真实世界图像中提取基于物理的渲染 (PBR) 材料的方法，通过扩散模型将图像的区域映射到材料概念，然后利用独立的网络将生成的纹理分解成空间变化的 BRDFs，并通过无监督领域适应实现对新样本的泛化应用。该方法在合成和真实世界数据集上进行了充分评估，并展示了从实际照片估计的材料编辑 3D 场景的适用性。

Nov, 2023

本研究提出了逆向传输网络作为学习体系结构，以解决逆渲染问题，其中我们通过给定输入图像测量值来推断物理场景参数，如形状、材料和光照。我们还创建了一个通用的物理精确可微分渲染器，并证明了逆向传输网络可以有效地进行训练，并且在出现从未见过的场景时有更好的泛化性能。

Sep, 2018

基于生成模型的 3D 内容生成依赖于 RGB 图像，但现代图形管道需要物理基础渲染（PBR）材质属性。我们提出直接建模 PBR 图像分布，以避免 RGB 生成中的光度不准确和从 RGB 中提取 PBR 时的固有模糊性。通过保留冻结的 RGB 模型并通过一种新颖的跨网络通信范例紧密链接新训练的 PBR 模型，我们克服了现有交叉模态微调范例中的数据不足和输出模态的高维度的挑战。由于基础 RGB 模型完全被冻结，所提出的方法在微调过程中不会出现灾难性遗忘，并与为基础 RGB 模型预训练的 IPAdapter 等技术兼容。我们通过广泛的实验部分验证了我们的设计选择、对数据稀疏性的鲁棒性，并与现有范例进行了比较。

Feb, 2024

该研究提出了一种反渲染模型，可以从一对仅捕获到的半透明物体的图像中，联合预测 3D 形状、可变反射率、均匀次表面散射参数和环境光照。研究者还使用了基于物理和神经渲染器来解决反渲染中的模糊问题，并构建了庞大的合成数据集来验证模型的有效性。

May, 2023

本研究提出了一种用于光度立体图像的卷积神经网络结构，通过物理学建模的无监督学习框架，可以进行表面法线和反射率预测，并且在实际场景中达到了最先进的性能表现。

Feb, 2018

我们提出了一种方法来控制物体的材质属性，如粗糙度、金属性、反照率和透明度。我们的方法利用了文本到图像模型的生成先验知识，通过标量值和指令来改变低级材料属性。我们通过生成基于物理的材料的以物体为中心的合成数据集，解决了缺乏具有受控材质属性的数据集的问题。通过在这个合成数据集上微调修改过的预训练文本到图像模型，我们能够在保留其他所有属性的同时编辑真实世界图像中的材质属性。我们展示了我们的模型在材质编辑 NeRF（可编辑反射函数）中的潜在应用。

Dec, 2023

本文提出了一种基于深度学习的图像去光照方法，将传统方法和深度学习模型相结合，并且通过物理洞察力量化来丰富神经网络，实现了对图像的更好去光照。

May, 2021

本研究介绍了一个大规模的合成数据集，该数据集包括来自 4.5k 个室内场景的 40 万张基于物理的渲染图像，研究了不同的渲染方法和场景照明对深度学习算法在表面法线预测、语义分割和物体边界检测三个计算机视觉任务中的影响，并表明，使用这个新的合成数据集进行预训练可以提高所有三个任务的结果。

Dec, 2016