加速基于扩散的盲超分辨率图像恢复与对抗性扩散蒸馏
本文介绍了 YONOS-SR,一种新的稳定的基于扩散的图像超分辨率方法,仅使用一次 DDIM 步骤即可获得最先进的结果。通过提出一种新颖的尺度蒸馏方法来训练我们的 SR 模型,我们将 SR 问题简化为教师模型在较小放大尺度上的训练。在训练过程中,我们使用教师的预测作为目标来训练较高放大尺度的学生模型,并通过迭代重复该过程,直到达到最终模型的目标尺度。我们实验证明,蒸馏模型明显优于直接训练高放大尺度的模型,在推断过程中只需要少量步骤。拥有只需一步的强大扩散模型使我们能够冻结 U-Net,并在其上微调解码器。我们展示了经过空间蒸馏的 U-Net 和经过微调的解码器的组合比需要 200 步的最先进方法仅使用单次步骤更为优越。
Jan, 2024
Adversarial Diffusion Distillation (ADD) is a new training approach that efficiently samples large-scale image diffusion models in 1-4 steps, outperforming existing few-step methods and reaching state-of-the-art performance in only four steps, enabling real-time image synthesis.
Nov, 2023
提出了一种名为 SinSR 的简单而有效的方法,通过仅需要一步推断即可生成超分辨率图像,同时利用新的一致性保持损失,以实现比之前最先进方法和教师模型更优的性能和高达 10 倍的推断加速。
Nov, 2023
通过利用预训练的潜在扩散模型的生成特征,我们引入了一种名为 LADD 的新的蒸馏方法,它简化了训练并提高了性能,实现了高分辨率的多纵横比图像合成。我们将 LADD 应用于 Stable Diffusion 3 (8B) 以获得 SD3-Turbo,这是一个快速模型,仅使用四个无导向采样步骤就能达到与现有技术文本到图像生成器相当的性能。此外,我们还系统地研究了其扩展行为,并展示了 LADD 在图像编辑和修复等各种应用中的有效性。
Mar, 2024
本研究提出了一种名为 ACDMSR(accelerated conditional diffusion model for image super-resolution)的新型扩散模型,通过预先训练的 SR 模型提供给定 LR 图像的条件图像来实现优秀的超分辨率结果,从而在可实践的场景中生成更具视觉逼真感的低分辨率图像。
Jul, 2023
本文提出一种基于扩散概率模型的单幅图像超分辨率方法,通过优化数据可能性的变分下界进行模型训练,并通过引入残差预测以加速收敛。该方法在 CelebA 和 DIV2K 数据集上进行了实验验证,实验结果表明,该方法在性能上领先以往的方法,并具有生成丰富细节的不同超分辨率结果、小型化、灵活的图像操作等优点。
Apr, 2021
本文介绍了一种新的方法,利用预先训练的文本到图像扩散模型中所包含的先前知识来实现盲超分辨率,并通过引入可控特征包装模块和渐进聚合采样策略来克服扩散模型固定尺寸的限制,实现对任何大小分辨率的适应,并在综合评估中展示了该方法在超分辨率领域的优越性。
May, 2023
为解决扩散图像超分辨率方法的低推理速度和性能下降问题,我们提出了一种新颖和高效的扩散模型,通过减少扩散步骤的数量,消除了推理过程中的加速要求以及性能恶化,并通过在高分辨率图像和低分辨率图像之间转移残差来显著提高转换效率。实验显示,该方法在合成和真实数据集上均能获得优秀或至少相当于当前最先进方法的性能,即使只使用 15 个采样步骤。
Jul, 2023
本文提出一种对卷积神经网络进行压缩和加速的新型对比自蒸馏框架。利用通道分割技术构建且压缩学习后的模型,通过显式知识传递和对比损失来提高超分辨率图像和 PSNR / SSIM 的质量。
May, 2021
本文提出了一种基于知识蒸馏的隐式降级估计网络,结合了此网络与高效的 SR 网络,实现了在未知退化情况下的盲图像超分辨率,同时设计了一种基于动态卷积残差块的新型降级表示方法 IDR,经过广泛的实验验证表明,KDSR 网络具有最先进的性能,并可以推广到各种退化过程。
Nov, 2022