图像修复是一个具有挑战性的任务，在近期，扩散模型在图像的生成上取得了显著的进展，但关于扩散模型在图像修复中的应用却鲜有综合且有启发性的研究，本文首次对基于扩散模型的图像修复方法进行全面的综述与评估，并提出了未来研究的五个潜在和具有挑战性的方向。

Aug, 2023

采用强大的视觉语言模型和合成降解管道，通过基于扩散模型和后验采样策略的鲁棒训练，提高图片还原质量并解决特定数据集无法恢复模糊、缩放、噪声和 JPEG 压缩等不同降解方式的问题。

Apr, 2024

本研究旨在提高扩散模型在逼真图像修复中的适用性，特别是在网络架构、噪声水平、降噪步骤、训练图像大小和优化器 / 调度器等多个方面进行改进。我们展示了调节这些超参数可以在失真和感知得分上实现更好的性能，并提出了基于 U-Net 的潜在扩散模型。与以前的潜在扩散模型相比，我们提出的 U-Net 压缩策略更稳定，而且不依赖敌对性优化就能恢复高度准确的图像。我们的模型 Refusion 能够处理大尺寸图像，包括真实世界的阴影去除、HR 不均匀去雾、立体超分辨率和景深效果转换，并在 NTIRE 2023 图像阴影去除挑战赛中获得最佳感知性能和第二名。

Apr, 2023

本研究提出一种方法，通过给待恢复的输入图像添加噪声并进行去噪来使预训练的扩散模型自适应于图像恢复任务。方法基于观察到生成模型空间需要受到约束的原则，通过使用一组捕捉输入图像特征的锚点图像对生成模型进行微调，从而实现受约束的空间。我们通过对比以前的方法并在多个真实世界的恢复数据集上展示出卓越的性能，包括保留身份和图像质量。此外，我们还演示了一种在个性化修复上的重要实际应用，其中我们使用个人相册作为锚点图像来约束生成空间。这种方法使我们能够准确地保留高频细节，这是以前的工作所不能实现的。

Dec, 2023

利用预训练扩散模型的内在知识，通过采样和融合技术，提出了一种新的扩散特征融合方法（DIFF）来提取和集成有效的语义表示，该方法在领域泛化语义分割和合成到真实情景中均优于先前的方法达到了最优性能。

Jun, 2024

本文研究了扰动扩散概率模型在语义分割任务中的应用，特别是在标注数据有限的情况下。通过探究预训练扩散模型的中间层，我们发现它们可以有效地捕捉输入图像的语义信息，并成为像素级别的分割表示。基于这些观察，我们提出了一种简单的分割方法，能在仅有少量训练图像的情况下显著提高性能。

Dec, 2021

本文研究了扩散模型学习以优化对应丢失函数的加权和（去噪得分匹配损失）来恢复不同噪声水平的嘈杂数据，并提出了恢复受特定噪声水平损坏的数据作为学习丰富视觉概念的适当预先任务的方法，通过重新设计目标函数的加权方案，在训练过程中优先考虑这些噪声水平，我们证明了我们简单的加权方案重构可以显著提高扩散模型的性能。

Apr, 2022

本文介绍了一种通过扩展扩散模型进行图像修复的新方法，该方法利用生成过程中与测量身份一致的样本，并结合测量信号与初始化信息来提高生成过程的效果。实验证明了该方法在不同的图像修复任务中的有效性。

Feb, 2024

提出了一种基于统计的熵损失方法，通过引入空间熵，强调对分布而非个别像素值的学习，利用核密度估计以使得熵可微分，并在实验证明了其在低光增强方面的有效性。

Apr, 2024

本文提出了一种基于预训练扩散模型的无监督高光谱图像恢复框架（HIR-Diff），通过两个低秩分量（即降维图像和系数矩阵）的乘积来还原清晰的高光谱图像。实验证明，该方法在高光谱图像恢复任务中具有卓越的性能和速度优势。

Feb, 2024