本研究旨在提高扩散模型在逼真图像修复中的适用性，特别是在网络架构、噪声水平、降噪步骤、训练图像大小和优化器 / 调度器等多个方面进行改进。我们展示了调节这些超参数可以在失真和感知得分上实现更好的性能，并提出了基于 U-Net 的潜在扩散模型。与以前的潜在扩散模型相比，我们提出的 U-Net 压缩策略更稳定，而且不依赖敌对性优化就能恢复高度准确的图像。我们的模型 Refusion 能够处理大尺寸图像，包括真实世界的阴影去除、HR 不均匀去雾、立体超分辨率和景深效果转换，并在 NTIRE 2023 图像阴影去除挑战赛中获得最佳感知性能和第二名。

Apr, 2023

本文提出、训练和验证了使用潜在的文本到图像扩散模型来综合老化和年轻化的人脸图像，评估了该方法在 CelebA 和 AgeDB 数据集上的表现，发现与现有的最先进基线相比，误识率显著降低了约 44%。

Jul, 2023

本文提出了一种新颖的无监督解缠面部表情和身份表示的框架 ——LatentFace，并使用 3D 感知的潜入模型来解决这一问题。该方法在面部表情识别和面部验证等无监督面部表示学习模型中取得了最先进的性能。

Sep, 2023

通过转换器与条件扩散模型相结合的新方法，提高了深度学习模型在医学图像分析中对图像的稳健性，并增加了对临床实践的信任度。

Oct, 2023

提出了一种利用 Speech-Conditioned Latent Diffusion Model (SCLDM) 的语音到人脸生成框架，通过对话音频和面部特征之间的对比预训练以及引入残差的方式，实现了更加逼真的人脸图像生成。在 AVSpeech 数据集和 Voxceleb 数据集上，该方法在所有度量指标上均取得了显著提升，尤其是在余弦距离度量指标上分别提升了 32.17 和 32.72。

Oct, 2023

我们提出了 DiffBIR，它利用预训练的文本到图像扩散模型解决盲目图像恢复问题。我们的框架采用了两阶段流程，在第一阶段中，我们通过在各种退化情况下预训练恢复模块来提高在实际场景中的泛化能力。第二阶段利用潜在扩散模型的生成能力，实现逼真的图像恢复。最后，我们引入了一个可控的模块，通过在推理过程中引入潜在图像指导来平衡质量和保真度。广泛的实验证明了它在合成和实际数据集上在盲目图像超分辨率和盲目人脸恢复任务上优于现有的方法。代码可在此 https URL 找到。

Aug, 2023

本研究探讨了利用预训练的稳定扩散（Stable Diffusion）来进行盲目人脸修复的潜力。我们提出了 BFRffusion，它经过精心设计，能够从低质量的人脸图像中有效提取特征，并能够利用预训练的稳定扩散生成逼真而忠实的面部细节。此外，我们构建了一个平衡了人种、性别和年龄等属性的隐私保护人脸数据集 PFHQ，该数据集可以作为训练盲目人脸修复方法的可行替代品，有效解决了与真实人脸数据集通常相关的隐私和偏见问题。通过一系列广泛的实验，我们证明了我们的 BFRffusion 在盲目人脸修复的合成和真实世界公共测试数据集上达到了最先进的性能水平，而我们的 PFHQ 数据集是训练盲目人脸修复网络的可用资源。 代码、预训练模型和数据集在此 https URL 上发布。

Dec, 2023

提出了基于扩散模型的文本驱动实际面部图像编辑方法，并通过 ChatFace 交互式系统实现了精确的零样本和多属性操纵。

May, 2023

本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

Jun, 2022

通过在预训练的自编码器的潜在空间中应用扩散模型，引入交叉注意力层到模型体系结构中，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级 DMs 对计算资源的需求。

Dec, 2021