Mar, 2024

SDXS：带图像条件的实时单步潜变扩散模型

PDF
TL;DR通过模型微型化、减少采样步骤和知识蒸馏的双重方法，减小模型延迟，本研究提出了一种在图像生成领域优化扩散模型性能的方法。通过简化 U-Net 和图像解码器的结构并引入一步式 DM 训练技术，利用特征匹配和得分蒸馏，我们实现了两个模型 SDXS-512 和 SDXS-1024，在单个 GPU 上实现了约 100 帧每秒（比 SD v1.5 快 30 倍）和 30 帧每秒（比 SDXL 快 60 倍）的推理速度。此外，我们的训练方法还在图像条件控制方面具有潜在的应用，可以实现高效的图像转换。
diffusion modelsmodel miniaturizationknowledge distillationinference speedsimage-conditioned control
发现论文，激发创造
  • SDXL：提高高分辨率图像合成的潜在扩散模型

    SDXL 是一种潜在扩散模型，用于文本到图像的合成，其使用更大的 UNet 骨干网络以及多重新颖的调制方式和改进模型，且其结果竞争力与黑箱最先进的图像生成器相比具有显著提高。

    Jul, 2023

  • 稳定扩散 XL 的渐进式知识蒸馏以层级损失

    通过降低模型大小和知识蒸馏，我们引入了两种简化的 Stable Diffusion XL 模型 (SSD-1B 和 Segmind-Vega)，并证明了在保持高质量生成能力的同时减少模型大小的有效性。

    Jan, 2024

  • 使用潜在扩散模型进行高分辨率图像合成

    通过在预训练的自编码器的潜在空间中应用扩散模型，引入交叉注意力层到模型体系结构中，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级 DMs 对计算资源的需求。

    Dec, 2021

  • A-SDM: 通过冗余消除和性能优化加速稳定扩散

    通过模型架构调整、冗余剪枝、全局 - 局部交互注意机制和语义感知监督等方法，本研究提出了一种有效训练轻量级模型、并在有限资源下提高模型速度的方法。

    Dec, 2023

  • 扩散模型是固有的一步生成器

    扩散模型的实例教学方法和分布教学方法在图像生成模型方面取得了显著的研究成果，提出的分布教学方法在减少训练图像数量的同时取得了最先进的结果，提高了对高效图像生成模型的理解并为各种应用提供了可扩展的框架。

    May, 2024

  • 将扩散模型融合为条件生成对抗网络

    我们提出了一种方法将复杂的多步扩散模型提炼为单步有条件生成对抗网络学生模型，从而大大加速推理过程，同时保持图像质量。我们的方法将扩散提炼解释为一种对应的图像到图像转换任务，使用扩散模型 ODE 轨迹的噪声到图像对。为了进行高效的回归损失计算，我们提出了一种在扩散模型的潜空间中直接操作的感知损失 E-LatentLPIPS，利用增强的集合。此外，我们改进了扩散模型，构建了一个多尺度鉴别器，具有文本对齐损失，建立了一种有效的基于条件生成对抗网络的公式。即使考虑到数据集构建成本，E-LatentLPIPS 也比许多现有的提炼方法更高效。我们证明我们的一步生成器在零样本 COCO 基准测试上优于最先进的一步扩散提炼模型 - DMD、SDXL-Turbo 和 SDXL-Lightning。

    May, 2024

  • SnapFusion：移动设备上的文本到图像扩散模型，两秒钟内完成

    该研究通过引入高效网络架构和步骤蒸馏等技术，提出了一种通用的方法，首次实现在移动设备上以不到 2 秒的速度运行文本到图像扩散模型。该模型可以使用户自己创作图像，而不需要高端 GPU 或云端推理，这将在内容创作方面具有重要作用。

    Jun, 2023

  • 可扩展的 Transformer 扩散模型

    本文提出了基于 Transformer 的扩散模型。将常用的 U-Net 骨干网络替换为在潜在块上操作的 Transformer，通过 Gflops 度量前向传递复杂度分析 DiT 的可伸缩性，并证明了高 Gflops DiT-XL/2 模型在 ImageNet 512x512 和 256x256 基准测试中均优于以前的扩散模型，后者在 256x256 基准测试上实现了先进的 FID (2.27)。

    Dec, 2022

  • SDXL-Lightning：渐进对抗扩散蒸馏

    我们提出了一种扩散蒸馏方法，基于 SDXL，在一步 / 几步 1024 像素的文本到图像生成任务上达到了新的最先进水平。我们的方法结合了渐进式和对抗性蒸馏来在质量和模态覆盖之间找到平衡。在本文中，我们讨论了理论分析、判别器设计、模型公式和训练技术。我们以 LoRA 和完整的 UNet 权重形式开源了我们蒸馏的 SDXL-Lightning 模型。

    Feb, 2024

  • 直接去噪扩散模型

    本文介绍了直接去噪扩散模型（DDDM）：一种生成逼真图像的简单且通用方法，具有少步采样的特点，同时保留了多步采样以获得更好的性能。DDDM 不需要精心设计的采样器或预训练的蒸馏模型，而是以自身的先前训练迭代生成的估计目标为条件进行扩散模型的训练，通过考虑前一时间步生成的样本来引导迭代生成过程。我们还提出了 Pseudo-LPIPS，一种对各种超参数值更鲁棒的新型度量损失。尽管简单，该方法在基准数据集上表现出强大的性能。我们的模型在 CIFAR-10 上分别以一步采样和两步采样的 FID 分数为 2.57 和 2.33，超越了 GAN 和蒸馏基模型获得的分数。通过将采样扩展到 1000 步，我们将 FID 分数进一步降低到 1.79，与文献中的最先进方法相一致。在 ImageNet 64x64 上，我们的方法与主要模型相当。

    May, 2024