我们提出了一种扩散蒸馏方法，基于 SDXL，在一步 / 几步 1024 像素的文本到图像生成任务上达到了新的最先进水平。我们的方法结合了渐进式和对抗性蒸馏来在质量和模态覆盖之间找到平衡。在本文中，我们讨论了理论分析、判别器设计、模型公式和训练技术。我们以 LoRA 和完整的 UNet 权重形式开源了我们蒸馏的 SDXL-Lightning 模型。

Feb, 2024

通过利用预训练的潜在扩散模型的生成特征，我们引入了一种名为 LADD 的新的蒸馏方法，它简化了训练并提高了性能，实现了高分辨率的多纵横比图像合成。我们将 LADD 应用于 Stable Diffusion 3 (8B) 以获得 SD3-Turbo，这是一个快速模型，仅使用四个无导向采样步骤就能达到与现有技术文本到图像生成器相当的性能。此外，我们还系统地研究了其扩展行为，并展示了 LADD 在图像编辑和修复等各种应用中的有效性。

Mar, 2024

本论文提出了一种高效、快速和多功能的蒸馏方法，Flash Diffusion，用于加速预训练扩散模型的生成，在 COCO2014 和 COCO2017 数据集上，在少量步骤的图像生成方面表现出最先进的 FID 和 CLIP-Score 性能，只需几个 GPU 小时的训练和比现有方法少得多的可训练参数。

Jun, 2024

通过提出的 AnimaLCM 方法，我们可以在最小的步骤内实现高保真度的视频生成，通过解耦图像生成先验和动作生成先验的一致性学习策略，提高了训练效率和生成的视觉质量。同时，我们还提出了一种有效的策略，使得现有的适配器可在稳定的扩散社区内实现各种功能，同时不影响采样速度，验证实验结果表明了我们提出方法的有效性。

Feb, 2024

通过在冻结的文本到图像模型中插入一个新初始化的动态建模模块并对其进行视频剪辑训练，我们提出了一个实用的框架，一劳永逸地使大多数现有的个性化文本到图像模型都能够生成多样化和个性化的动态图像。

Jul, 2023

提出了一种非常快的视频异常检测模型，通过从多个高精度的目标级教师模型中提取知识来学习检测异常。通过联合应用标准和对抗蒸馏，利用对每个教师的对抗鉴别器来区分目标和生成的异常图，从而提高了学生的保真度。对三个基准数据集（Avenue，ShanghaiTech，UCSD Ped2）进行实验，结果表明，该方法比最快的竞争方法快 7 倍以上，并且比以目标为中心的模型快 28 到 62 倍，同时获得了与最近方法相当的结果，且速度达到了 1480 FPS，是速度和精度之间的最佳权衡。此外，我们进行了全面的剖析研究，以证明我们的架构设计选择的合理性。

Nov, 2022

本研究通过提出扩展图像扩散结构的扩散模型，使得可以自然地对图像和视频数据进行联合训练以生成高保真度的时空连续的视频，并引入一种更好的有条件采样技术，得到了在文本条件视频生成任务及视频预测和无条件视频生成方面的最先进结果。

Apr, 2022

我们提出了一种方法将复杂的多步扩散模型提炼为单步有条件生成对抗网络学生模型，从而大大加速推理过程，同时保持图像质量。我们的方法将扩散提炼解释为一种对应的图像到图像转换任务，使用扩散模型 ODE 轨迹的噪声到图像对。为了进行高效的回归损失计算，我们提出了一种在扩散模型的潜空间中直接操作的感知损失 E-LatentLPIPS，利用增强的集合。此外，我们改进了扩散模型，构建了一个多尺度鉴别器，具有文本对齐损失，建立了一种有效的基于条件生成对抗网络的公式。即使考虑到数据集构建成本，E-LatentLPIPS 也比许多现有的提炼方法更高效。我们证明我们的一步生成器在零样本 COCO 基准测试上优于最先进的一步扩散提炼模型 - DMD、SDXL-Turbo 和 SDXL-Lightning。

May, 2024

利用多设备之间的模型并行性，通过对多个组件进行异步处理，AsyncDiff 显著缩短推理延迟，同时最小程度地影响生成质量。

Jun, 2024

AdaDiff 是一个轻量级框架，通过学习实例特定的步骤使用策略，优化了扩散模型的图像 / 视频生成过程，以最大化平衡推理时间和生成质量的回报函数，并在减少推理时间至少 33% 的情况下实现与基准方法相似的视觉质量。

Nov, 2023