Dec, 2023

SCEdit:通过跳跃连接编辑实现高效可控的图像扩散生成

TL;DR通过对 U-Net 中的跳跃连接的作用进行深入研究,我们发现编码器和解码器之间聚合远距离信息的分层特征对于图像生成的内容和质量产生了重大影响。基于这一观察,我们提出了一种高效的生成调整框架 SCEdit,它使用名为 SC-Tuner 的轻量级调整模块来集成和编辑跳跃连接。此外,该框架还通过使用 Controllable SC-Tuner 注入不同条件来简化和统一多条件输入的网络设计,从而方便地扩展到可控图像合成领域。在文本到图像生成和可控图像合成任务上进行的广泛实验表明,我们的方法在效率和性能方面都优于其他方法。