逆向渲染是从图像中推断场景属性的挑战性逆向问题。我们提出了一种新颖的方案，将预训练于自然照明图上的降噪扩散概率模型与可微分路径追踪器相结合，允许从自然且能解释图像观察的光照和空间变化的表面材料组合中进行采样，以恢复材料并生成高度逼真和多样化的环境贴图样本。

Sep, 2023

使用内在图像扩散，我们提出了一种室内场景外观分解的生成模型。通过给定单个输入视图，我们对多个可能的材质解释进行采样，这些解释由反照率、粗糙度和金属性地图表示。通过引入概率形式来处理外观分解的挑战，我们利用了最近在大规模真实世界图像上训练的强大学习预测器，将其应用于材料估计，并在 PSNR 上超过了现有方法 1.5dB，在反照率预测上 FID 分数提高了 45%。通过在合成和真实世界数据集上进行实验证明了我们方法的有效性。

Dec, 2023

该研究提出一种终端到端的学习逆渲染框架，利用可微分 Monte Carlo 光线追踪结合重要性采样，从单张图像中恢复基础几何、空间变化的光照、真实感材料。通过物理上基于不同 iable 渲染层与荧幕空间光线追踪的引入，创建大规模室内场景数据集，设计一种新颖的场外灯光网络进行评估，呈现出与业界最先进基线方法相比提高了的反向渲染质量，可以实现诸如高度保真的复杂物体插入和材料编辑等各种应用。

Nov, 2022

本文提出一种新的方法来有效地恢复具空间变化的间接光照。该方法使用输入图像学习的神经放射场方便地导出间接光照，并采用适当建模的方法恢复直接光照的可见度和间接光照的折射 - 阴影自由反照率，以达到优于先前方法的效果。

Apr, 2022

本文提出了一种基于数据驱动的方法，用于分解内在图像，通过训练模型预测图像片段之间的相对反射顺序并将其应用于能量最小化框架，以获得更好的效果。

Oct, 2015

Inverse Path Tracing 通过可逆光传输模拟，提出了一种新颖的方法，可以在保证物理正确性的情况下，同时获取室内场景中的光源和材料属性，并使用可微分的蒙特卡罗渲染器进行优化，以实现编辑和重渲染。

Mar, 2019

通过引入辅助优化变量，利用扩散过程重新定义嘈杂的反问题为受约束的双变量优化任务，该算法称为 ProjDiff，有效地利用了预训练扩散模型的先验信息和降噪能力。在各种线性和非线性反问题中，ProjDiff 在图像恢复任务、信源分离和部分生成任务方面展现出卓越的性能，凸显其在实际应用中的潜力。

Jun, 2024

该论文提出了第一种使用扩散模型作为先验的高精度三维面部 BRDF 重建方法，通过利用高质量的 UV 数据集进行渲染，使用样本处理过程来训练扩散模型，并在测试时通过对给定图像进行三维可塑模型拟合和 UV 纹理解耦，从而能够单个去噪步骤中完成掩蔽区域的纹理完成和未知反射组分的纹理自动填充，相较于现有方法，该方法更能忠实地和一致地估算反射率。

May, 2023

本研究旨在提出一种反演渲染方法，通过蒙特卡罗光线跟踪利用拍摄时物体上被意外产生的阴影作为信号，提高条件并帮助消除材料 - 光照的模糊性，从而精确恢复物体的材料，环境光照和灯光挡板的形状。

May, 2023

本文提出了一种用于室内场景的统一、基于学习的逆渲染框架，包括反照率、法线、深度和三维空间变化的照明的联合估计，其中设计了一种基于物理学的可微渲染器，利用我们的三维照明表示，形成能量守恒的图像形成过程，实现所有内在属性的联合训练，以重新渲染约束保证物理正确性，实验表明，该方法在量化和质量上优于之前的工作，能够为增强现实应用（例如虚拟物体插入）产生逼真的结果，即使对于高度镜面的物体也是如此。

Sep, 2021