通过模型架构调整、冗余剪枝、全局 - 局部交互注意机制和语义感知监督等方法，本研究提出了一种有效训练轻量级模型、并在有限资源下提高模型速度的方法。

Dec, 2023

通过引入去块知识蒸馏稳定扩散模型（BK-SDMs）的传统架构压缩技术，从而使其可用于通用 T2I 合成，我们从 SDMs 的 U-Net 中消除了几个残差和注意块，显著地减少了参数数量、MACs 和延迟，使用少量的资源进行蒸馏式预训练，使我们的紧凑模型能够模仿原始 SDM，并在零样本 MS-COCO 基准测试中对抗更大的多十亿参数模型，同时还演示了我们轻量级预训练模型在个性化生成中的适用性。

May, 2023

扩散模型的实例教学方法和分布教学方法在图像生成模型方面取得了显著的研究成果，提出的分布教学方法在减少训练图像数量的同时取得了最先进的结果，提高了对高效图像生成模型的理解并为各种应用提供了可扩展的框架。

May, 2024

通过降低模型大小和知识蒸馏，我们引入了两种简化的 Stable Diffusion XL 模型 (SSD-1B 和 Segmind-Vega)，并证明了在保持高质量生成能力的同时减少模型大小的有效性。

Jan, 2024

通过集成随机微分方程求解器到一致性蒸馏中，提出并验证了 Stochastic Consistency Distillation (SCott) 方法，该方法能够加快文本到图像生成的过程，并且在稳定扩散 - V1.5 模型上，表现优于其他模型在 MSCOCO-2017 5K 数据集上的生成结果。

Mar, 2024

通过对稳定扩散（SD）的高效计算负担进行改进，我们提出了两种策略，即利用先进的生成模型和为 LCM 定制的先进蒸馏流程，通过量化、剖析和资源有限的边缘设备上的部署，实现了在仅两步、低于一秒的延迟下，生成具有照片写实风格、与文本对齐的图像。

Apr, 2024

基于文本到图像扩散模型的加速方法，提出了一种新的稳定扩散加速模块 SpeedUpNet（SUN），通过多步一致性损失和交叉注意力层来减少推理步骤，并消除对分类器的引导需求，比现有的 25 步骤 DPM-solver++ 模型快 10 倍以上。

Dec, 2023

通过蒸馏 SDXL 模型的知识，我们提出了一种高效的文本到图像综合的潜在扩散模型，其核心是通过设计有效的 U-Net 和自注意力的知识蒸馏策略，使 KOALA 模型在减小模型尺寸的同时，仍保持良好的生成质量，相较于 SDXL 模型有两倍以上的速度，可以在资源有限的环境中成为一种具有成本效益的替代选择。

Dec, 2023

通过结构化地重用注意力映射，我们的训练无关方法在保持样本质量的同时，显著降低了文本到图像扩散模型的迭代过程中的延迟。

Dec, 2023

Hyper-SD is a novel framework that combines the advantages of ODE Trajectory Preservation and Reformulation, achieving state-of-the-art performance in multi-step inference with diffusion models.

Apr, 2024