该论文提出了第一种使用扩散模型作为先验的高精度三维面部 BRDF 重建方法，通过利用高质量的 UV 数据集进行渲染，使用样本处理过程来训练扩散模型，并在测试时通过对给定图像进行三维可塑模型拟合和 UV 纹理解耦，从而能够单个去噪步骤中完成掩蔽区域的纹理完成和未知反射组分的纹理自动填充，相较于现有方法，该方法更能忠实地和一致地估算反射率。

May, 2023

提出了一种新颖的端到端二维照明扩散模型 Neural Gaffer，通过将图像生成器条件化于目标环境图，可以在任意新环境照明条件下综合出准确、高质量的复照图像，而不需要显式场景分解。

Jun, 2024

在这项研究中，我们提出了 FitDiff，一种基于扩散的三维人脸化身生成模型，它可准确生成可光照补充的人脸化身，利用从 “野外” 二维人脸图像中提取的身份嵌入。该多模态扩散模型同时输出面部反射映射（漫反射和镜面反射率及法线）和形状，展示了强大的泛化能力。它仅在公共人脸数据集的注释子集上进行训练，与三维重建配对。我们通过使用感知和人脸识别损失来指导反向扩散过程，重新审视了典型的三维面部拟合方法。FitDiff 是第一个以面部识别嵌入为条件的 LDM，它能够重构可光照补充的人类化身，可以直接在常见的渲染引擎中使用，仅从无约束的人脸图像开始，并达到了业界的最佳性能。

Dec, 2023

本文研究基于物理学原理的图像形成模型的深度学习架构，包括去除图像光线和校正漏光，并应用到肖像摄影数据库中。结果表明，该模型可以实现精确和可信的照明结果，并且可以推广到复杂的光照条件和挑战性姿势，包括主体未直视相机。

Jun, 2019

通过使用图像扩散模型对输入图像进行重新照明，并利用这些重新照明的图像重建神经辐射场（NeRF），我们提出了一种更简单的方法来实现利用目标光照下的新视点渲染的三维表示，并在多个重新照明基准测试中取得了最新的结果。

Jun, 2024

单视角新视角合成是计算机视觉中一项重要而具有挑战性的任务。本文提出了一种基于条件扩散模型的 Light Field Diffusion，通过引入局部像素约束，鼓励更好的多视角一致性，实现高保真图像的生成。

Sep, 2023

我们提出了一种新颖的深度人脸光照方法，通过学习预测源图像和目标图像之间的比值图像，同时使用估计的阴影掩码准确修改影子，使得我们能够在保留本地面部细节的同时重新照明图像，并使用阴影掩码来估算图像中的环境光强度，在 Multi-PIE 和 FFHQ 数据集上进行定量和定性评估，证明了我们所提出的方法在保留主体的本地面部细节，并能够准确地处理深硬阴影的同时达到了最先进的人脸光照效果。

Apr, 2021

该论文提出了一种新的方法来在基于扩散的图像生成过程中实现细粒度的灯光控制，通过为文本提示添加辐射提示的详细光照信息，结合经过预训练的扩散模型和 DiLightNet 来控制图像生成过程中的灯光。

Feb, 2024

使用内在图像扩散，我们提出了一种室内场景外观分解的生成模型。通过给定单个输入视图，我们对多个可能的材质解释进行采样，这些解释由反照率、粗糙度和金属性地图表示。通过引入概率形式来处理外观分解的挑战，我们利用了最近在大规模真实世界图像上训练的强大学习预测器，将其应用于材料估计，并在 PSNR 上超过了现有方法 1.5dB，在反照率预测上 FID 分数提高了 45%。通过在合成和真实世界数据集上进行实验证明了我们方法的有效性。

Dec, 2023

本文介绍了一种新的生成方法 FDNeRF，可以从单个图像重建高质量的 3D 面孔，并具有语义编辑和改变灯光等功能，相比现有的 2D 编辑方法，FDNeRF 取得了更加逼真的结果和前所未有的灵活性。

Jun, 2023