Jan, 2024

只需一个步骤:稳定扩散通过尺度蒸馏的快速超分辨率

TL;DR本文介绍了 YONOS-SR,一种新的稳定的基于扩散的图像超分辨率方法,仅使用一次 DDIM 步骤即可获得最先进的结果。通过提出一种新颖的尺度蒸馏方法来训练我们的 SR 模型,我们将 SR 问题简化为教师模型在较小放大尺度上的训练。在训练过程中,我们使用教师的预测作为目标来训练较高放大尺度的学生模型,并通过迭代重复该过程,直到达到最终模型的目标尺度。我们实验证明,蒸馏模型明显优于直接训练高放大尺度的模型,在推断过程中只需要少量步骤。拥有只需一步的强大扩散模型使我们能够冻结 U-Net,并在其上微调解码器。我们展示了经过空间蒸馏的 U-Net 和经过微调的解码器的组合比需要 200 步的最先进方法仅使用单次步骤更为优越。