SinSR: 单步扩散图像超分辨率
为解决扩散图像超分辨率方法的低推理速度和性能下降问题,我们提出了一种新颖和高效的扩散模型,通过减少扩散步骤的数量,消除了推理过程中的加速要求以及性能恶化,并通过在高分辨率图像和低分辨率图像之间转移残差来显著提高转换效率。实验显示,该方法在合成和真实数据集上均能获得优秀或至少相当于当前最先进方法的性能,即使只使用 15 个采样步骤。
Jul, 2023
本文提出一种基于扩散概率模型的单幅图像超分辨率方法,通过优化数据可能性的变分下界进行模型训练,并通过引入残差预测以加速收敛。该方法在 CelebA 和 DIV2K 数据集上进行了实验验证,实验结果表明,该方法在性能上领先以往的方法,并具有生成丰富细节的不同超分辨率结果、小型化、灵活的图像操作等优点。
Apr, 2021
本文介绍了 YONOS-SR,一种新的稳定的基于扩散的图像超分辨率方法,仅使用一次 DDIM 步骤即可获得最先进的结果。通过提出一种新颖的尺度蒸馏方法来训练我们的 SR 模型,我们将 SR 问题简化为教师模型在较小放大尺度上的训练。在训练过程中,我们使用教师的预测作为目标来训练较高放大尺度的学生模型,并通过迭代重复该过程,直到达到最终模型的目标尺度。我们实验证明,蒸馏模型明显优于直接训练高放大尺度的模型,在推断过程中只需要少量步骤。拥有只需一步的强大扩散模型使我们能够冻结 U-Net,并在其上微调解码器。我们展示了经过空间蒸馏的 U-Net 和经过微调的解码器的组合比需要 200 步的最先进方法仅使用单次步骤更为优越。
Jan, 2024
通过级联扩散控制模型和多重注意机制,本研究提出了一种图像超分辨率方法,其目标是从降质版本中生成高质量、清晰的图像。研究结果表明该方法在提高图像还原的准确性和真实性方面非常有效和优越。
Mar, 2024
本研究提出了 SR3 方法,通过重复精细的降噪扩散概率模型,采用随机去噪过程并通过 U-Net 模型进行迭代 refinement,实现图像超分辨率,在面部和自然图像的不同放大因素的超分辨率任务中表现强劲,与 SOTA GAN 方法进行人工评估,SR3 实现了近 50%的 fool 率,表明输出具有照片逼真度,同时 GANs 不超过 34%的 fool 率。我们进一步展示 SR3 在级联图像生成中的有效性,其中生成模型与超分辨率模型链接,使 ImageNet 的竞争 FID 得分为 11.3。
Apr, 2021
AddSR 通过结合蒸馏和 ControlNet 的思想,提出了一种基于预测自优化策略和时间步自适应的损失函数的盲超分辨率方法,可以在更短的时间内生成更好的恢复结果。
Apr, 2024
本文介绍了一种新的方法,利用预先训练的文本到图像扩散模型中所包含的先前知识来实现盲超分辨率,并通过引入可控特征包装模块和渐进聚合采样策略来克服扩散模型固定尺寸的限制,实现对任何大小分辨率的适应,并在综合评估中展示了该方法在超分辨率领域的优越性。
May, 2023
我们提出了一种一步有效扩散网络(即 OSEDiff),用于实际图像超分辨率(Real-ISR)问题,通过利用给定的低质量(LQ)图像作为起始点进行扩散,消除了随机噪声采样引入的不确定性,以实现高质量(HQ)图像的生成。
Jun, 2024
我们提出了 SAM-DiffSR 模型,通过将细粒度结构信息编码到分割掩膜中,并在正向扩散过程中调制噪声,实现了对图像质量的改善,同时不增加推理过程中的计算成本。在 DIV2K 数据集上的实验结果表明,我们的方法在抑制伪影方面表现出卓越的性能,并且在 PSNR 方面超过现有的基于扩散的方法高达 0.74 dB。
Feb, 2024
通过使用扩散模型(DMs)生成一系列可能的超分辨率图像,结合人类反馈来确定最可信的解决方案,以解决超分辨率问题中的可靠性和模糊性。实验结果表明,这种策略相较于现有的超分辨率方法提供了更可靠的解决方案。
Feb, 2024