通过快速扩散反演进行盲图像恢复
我们提出了 DiffBIR,它利用预训练的文本到图像扩散模型解决盲目图像恢复问题。我们的框架采用了两阶段流程,在第一阶段中,我们通过在各种退化情况下预训练恢复模块来提高在实际场景中的泛化能力。第二阶段利用潜在扩散模型的生成能力,实现逼真的图像恢复。最后,我们引入了一个可控的模块,通过在推理过程中引入潜在图像指导来平衡质量和保真度。广泛的实验证明了它在合成和实际数据集上在盲目图像超分辨率和盲目人脸恢复任务上优于现有的方法。代码可在此 https URL 找到。
Aug, 2023
通过建立马尔可夫链以提高高质量图像和低质量图像之间转换的效率,并通过精心设计的噪声方案灵活控制扩散过程中的转移速度和噪声强度,本研究提出了一种新的高效扩散模型用于图像恢复,表现优越或可媲美现有的方法,甚至只需进行四步采样。
Mar, 2024
图像修复是一个具有挑战性的任务,在近期,扩散模型在图像的生成上取得了显著的进展,但关于扩散模型在图像修复中的应用却鲜有综合且有启发性的研究,本文首次对基于扩散模型的图像修复方法进行全面的综述与评估,并提出了未来研究的五个潜在和具有挑战性的方向。
Aug, 2023
采用强大的视觉语言模型和合成降解管道,通过基于扩散模型和后验采样策略的鲁棒训练,提高图片还原质量并解决特定数据集无法恢复模糊、缩放、噪声和 JPEG 压缩等不同降解方式的问题。
Apr, 2024
本文提出了 DiffPIR,将传统的 plug-and-play 方法集成到扩散采样框架中,以期在保留扩散模型生成能力的同时完成图像还原任务,实验结果表明,DiffPIR 在三项代表性图像还原任务上取得了最先进的性能。
May, 2023
使用扩散模型解决逆问题是一个增长迅速的研究领域。我们设计了一种基于期望最大化(EM)估计方法和扩散模型的算法,通过近似计算扩散模型的样本绘制的逆问题的期望对数似然,以及最大化步骤来估计未知的模型参数。我们还引入了一种基于 Plug & Play 去噪器的新型模糊核正则化方法。通过对盲目图像去模糊进行广泛实验证明了我们的方法与其他最先进方法相比的有效性。
Sep, 2023
BlindDiff 是一种基于扩散模型(DM)的盲超分辨率(SR)方法,通过将基于最大后验(MAP)的优化集成到 DM 中,无缝地解决了 SISR 中的盲降解设置,并通过反向过程解决盲 SR 问题。
Mar, 2024
最近,文本引导的扩散模型取得了强大的图像处理能力。然而,将这些方法应用于真实图像需要将图像反转到预训练的扩散模型的领域中。实现准确的反转仍然是一个挑战,特别是对于训练用于生成具有少量降噪步骤的图像的最新模型。在这项工作中,我们引入了一种具有高质量操作比的反转方法,提高重建准确性而不增加操作次数。我们的方法建立在扩散采样过程的反转基础之上,采用在每个反转采样步骤中进行迭代降噪的机制。该机制通过迭代应用预训练的扩散模型,并对这些预测进行平均,从而改善了沿前向扩散轨迹预测点的逼近性。我们使用各种采样算法和模型对我们的 RenNoise 技术的性能进行评估,并进行全面的评估和比较,展示了其在准确性和速度方面的有效性。此外,我们通过在真实图像上展示基于文本的图像编辑,证实了我们的方法的可编辑性。
Mar, 2024
通过提出具有高斯噪声的空间和频率感知扩散模型 SaFaRI,我们在各种包括修补、降噪和超分辨率在内的有噪反问题上全面评估了模型的性能,结果显示 SaFaRI 在 ImageNet 和 FFHQ 数据集上表现优于现有的零样本 IR 方法,从 LPIPS 和 FID 指标的角度超越了其他模型,实现了最先进的性能。
Jan, 2024
本文介绍了一种通过扩展扩散模型进行图像修复的新方法,该方法利用生成过程中与测量身份一致的样本,并结合测量信号与初始化信息来提高生成过程的效果。实验证明了该方法在不同的图像修复任务中的有效性。
Feb, 2024