我们提出了 DiffPortrait3D，这是一种条件扩散模型，能够从一个野外肖像合成一致的 3D 真实场景。我们利用大规模图像数据预训练的 2D 扩散模型作为渲染骨干，通过外貌和相机姿势的解耦集中控制对图像进行去噪。我们进一步引入可训练的跨视角注意力模块以增强视角一致性，并在推断过程中实施一种新颖的 3D 感知噪声生成过程。在野外和多视角基准测试上，我们展示了优于现有方法的结果。

Dec, 2023

我们提出了一种新的方法来进行野外单视图人脸重照。我们使用条件扩散隐式模型 (DDIM) 解码一个解离的光编码与 3D 形状和面部身份相关的其他编码，以达到最先进的性能，能够在标准基准数据集 Multi-PIE 上进行光照效果的真实再现。

Apr, 2023

该论文提出了一种新的方法来在基于扩散的图像生成过程中实现细粒度的灯光控制，通过为文本提示添加辐射提示的详细光照信息，结合经过预训练的扩散模型和 DiLightNet 来控制图像生成过程中的灯光。

Feb, 2024

该论文提出了第一种使用扩散模型作为先验的高精度三维面部 BRDF 重建方法，通过利用高质量的 UV 数据集进行渲染，使用样本处理过程来训练扩散模型，并在测试时通过对给定图像进行三维可塑模型拟合和 UV 纹理解耦，从而能够单个去噪步骤中完成掩蔽区域的纹理完成和未知反射组分的纹理自动填充，相较于现有方法，该方法更能忠实地和一致地估算反射率。

May, 2023

用于人像与新背景合成的一种考虑照明效果的扩散模型，通过引入灯光表示模块、对齐网络和数据模拟管道，实现了对全局色彩和亮度的调整以及场景中来自背景的关键照明线索的融合。该方法在视觉保真度和照明连贯性方面优于现有基准，在实际测试中表现出卓越的泛化能力，凸显了其多功能和实用性。

Dec, 2023

本文提出了一个计算方法，通过使用神经网络去除外部阴影并软化面部阴影，同时添加合成填充光线，从而使拍摄不佳的人像照片得以以逼真和易于控制的方式进行重新照明。

May, 2020

低光增强变得越来越重要；我们提出了一种能够提供丰富可控性的 Controllable Light Enhancement Diffusion Model（CLE Diffusion）扩散框架，利用条件扩散模型和照明嵌入来让用户控制所需的亮度水平，同时结合 Segment-Anything Model（SAM）进行用户友好的区域可控性，以实现出色的性能和多样化的可控性。

Aug, 2023

本文介绍了一种建立在现有扩散模型之上的算法 ——Diffusers 混合器，它能够在不同区域之间协调多个扩散过程来控制图像组合，从而提供更细致的组合控制方式。

Feb, 2023

本文提出了一种利用神经网络进行人像重灯光处理的方法，可以在只有一张手机拍摄的照片的情况下，将人像的光照效果变更为给定的任何光照环境，实现了比现有技术更优异的效果。

May, 2019

基于扩散模型的人脸交换技术，利用 IP-Adapter、ControlNet、以及 Stable Diffusion 的修复工艺实现人脸特征编码、多条件生成和修复操作，更进一步通过面部指导优化和 CodeFormer 进行混合提高生成质量。

Mar, 2024