通过降低模型大小和知识蒸馏，我们引入了两种简化的 Stable Diffusion XL 模型 (SSD-1B 和 Segmind-Vega)，并证明了在保持高质量生成能力的同时减少模型大小的有效性。

Jan, 2024

Adversarial Diffusion Distillation (ADD) is a new training approach that efficiently samples large-scale image diffusion models in 1-4 steps, outperforming existing few-step methods and reaching state-of-the-art performance in only four steps, enabling real-time image synthesis.

Nov, 2023

通过使用渐进式对抗传播扩散调制，我们提出了 AnimateDiff-Lightning 模型用于快速生成视频，达到了最新的有限步视频生成技术。我们在该文中探讨了为适应视频模态所做的修改。此外，我们提出了同时精馏多个基础传播模型的概率流，从而获得具有更广泛风格兼容性的单一精馏运动模块。我们很高兴为社区发布我们的精馏 AnimateDiff-Lightning 模型供使用。

Mar, 2024

通过利用预训练的潜在扩散模型的生成特征，我们引入了一种名为 LADD 的新的蒸馏方法，它简化了训练并提高了性能，实现了高分辨率的多纵横比图像合成。我们将 LADD 应用于 Stable Diffusion 3 (8B) 以获得 SD3-Turbo，这是一个快速模型，仅使用四个无导向采样步骤就能达到与现有技术文本到图像生成器相当的性能。此外，我们还系统地研究了其扩展行为，并展示了 LADD 在图像编辑和修复等各种应用中的有效性。

Mar, 2024

我们提出了一种方法将复杂的多步扩散模型提炼为单步有条件生成对抗网络学生模型，从而大大加速推理过程，同时保持图像质量。我们的方法将扩散提炼解释为一种对应的图像到图像转换任务，使用扩散模型 ODE 轨迹的噪声到图像对。为了进行高效的回归损失计算，我们提出了一种在扩散模型的潜空间中直接操作的感知损失 E-LatentLPIPS，利用增强的集合。此外，我们改进了扩散模型，构建了一个多尺度鉴别器，具有文本对齐损失，建立了一种有效的基于条件生成对抗网络的公式。即使考虑到数据集构建成本，E-LatentLPIPS 也比许多现有的提炼方法更高效。我们证明我们的一步生成器在零样本 COCO 基准测试上优于最先进的一步扩散提炼模型 - DMD、SDXL-Turbo 和 SDXL-Lightning。

May, 2024

SDXL 是一种潜在扩散模型，用于文本到图像的合成，其使用更大的 UNet 骨干网络以及多重新颖的调制方式和改进模型，且其结果竞争力与黑箱最先进的图像生成器相比具有显著提高。

Jul, 2023

本论文提出了一种高效、快速和多功能的蒸馏方法，Flash Diffusion，用于加速预训练扩散模型的生成，在 COCO2014 和 COCO2017 数据集上，在少量步骤的图像生成方面表现出最先进的 FID 和 CLIP-Score 性能，只需几个 GPU 小时的训练和比现有方法少得多的可训练参数。

Jun, 2024

本文介绍了一种名为选择性扩散蒸馏（SDD）的新框架，其在图像处理任务中克服了扩散模型的权衡问题，通过在扩散模型指导下训练前馈图像操作网络和适当选择语义相关的时间步长，获得了图像的保真度和可编辑性。

Jul, 2023

我们提出了一种结合潜在空间扩散模型和数据集精炼的潜在数据集精炼方法（LD3M），旨在解决机器学习面临的大型数据集和高分辨率图像生成的挑战，并在多个 ImageNet 子集和高分辨率图像上实验表明，LD3M 在 1 个和 10 个图像每类的情况下，相比最先进的精炼技术，提高了最高 4.8 个百分点和 4.2 个百分点的性能。

Mar, 2024

通过模型微型化、减少采样步骤和知识蒸馏的双重方法，减小模型延迟，本研究提出了一种在图像生成领域优化扩散模型性能的方法。通过简化 U-Net 和图像解码器的结构并引入一步式 DM 训练技术，利用特征匹配和得分蒸馏，我们实现了两个模型 SDXS-512 和 SDXS-1024，在单个 GPU 上实现了约 100 帧每秒（比 SD v1.5 快 30 倍）和 30 帧每秒（比 SDXL 快 60 倍）的推理速度。此外，我们的训练方法还在图像条件控制方面具有潜在的应用，可以实现高效的图像转换。

Mar, 2024