Jun, 2024

通过矩匹配多步蒸馏扩散模型

HTML
PDF
TL;DR我们提出了一种新的方法，通过匹配沿采样轨迹给定噪声数据的干净数据的条件期望来将扩散模型加速采样，从而将多步扩散模型提炼为少步模型。我们的方法扩展了最近提出的一步方法到多步情况，并通过以矩匹配的方式解释这些方法，从而提供了一种新的视角。通过使用多达8个采样步骤，我们获得的提炼模型不仅在Imagnet数据集上超越了其一步版本，还超越了原始的多步教师模型，获得了最新的最先进结果。我们还展示了一种大型文本到图像模型的有希望结果，在该模型中，我们可以直接在图像空间中快速生成高分辨率图像，而无需自编码器或上采样器。
发现论文，激发创造
  • 渐进式蒸馏：用于快速采样扩散模型

    通过新的参数化方法和扩散模型的渐进提炼过程，从而在不降低感知质量的前提下将采样步骤尽量减少到四步，从而提高了采样效率，并为生成建模提供了高效的解决方案。

    Feb, 2022

  • 关于引导式扩散模型的精馏

    本文介绍了一种将分类器自由引导扩散模型蒸馏为更快采样的方法，以减少推理时间，并取得了与原始模型相当的图像有效性。

    Oct, 2022

  • DiffFit: 通过简单的参数高效调整解锁大规模扩散模型的可传递性

    该论文提出DiffFit，一种参数高效的策略，可以对大规模预先训练的扩散模型进行微调，从而实现对新领域的快速适应，本方法只需要微调特定层中的偏差项和新加入的缩放因子，相对于完整的微调，实现了2倍的训练加速和极低的模型存储成本，DiffFit在8个下游数据集中表现突出，取得了竞争性的性能，并证实缩放因子对快速适应的功效。

    Apr, 2023

  • 一步扩散与分布匹配蒸馏

    通过实施分布匹配蒸馏(Distribution Matching Distillation)以及多步扩散输出的大规模结构简单回归损失相匹配的方法，我们将扩散模型转化为一步图像生成器，以显著降低对图像质量的影响，使其在ImageNet 64x64上达到2.62 FID，在无监督COCO-30k上达到11.49 FID，并可通过FP16推理在现代硬件上以20 FPS生成图像。

    Nov, 2023

  • T-Stitch：使用轨迹拼接加速预训练扩散模型的采样

    使用Trajectory Stitching T-Stitch技术，通过使用较小的diffusion probabilistic model（DPM）进行初始步骤，然后在后续阶段转换为更大的DPM，实现采样效率的提高而无需降低生成质量。该方法是无需训练的，适用于不同结构，能够在速度和质量之间灵活权衡。

    Feb, 2024

  • 多步骤一致性模型

    多步一致性模型是一种介于一致性模型和扩散模型之间的统一方法，通过增加采样步骤可以更容易地训练出高质量样本，保持了大部分采样速度的优势。

    Mar, 2024

  • 加速扩散模型取样的简单早期退出框架

    该研究解决了扩散模型在取样速度上存在的瓶颈，通过提出一种新的框架，能够自适应地分配计算资源以估计得分，从而减少整体取样时间。研究发现，得分估计所需的计算量会随着时间步变化，提出的早期退出策略能够在不影响图像质量的前提下显著提高取样吞吐量。

    Aug, 2024

  • 通过一对多知识蒸馏加速扩散模型

    本研究针对扩散模型在生成图像时面临的重大计算开销问题，提出了一种新颖的一对多知识蒸馏（O2MKD）方法。这一方法通过将单个教师扩散模型蒸馏为多个学生扩散模型，使每个学生模型专注于不同的连续时间步骤，从而显著加快生成速度，实验结果显示在多个数据集上均实现了加速效果。

    Oct, 2024

  • 通过得分隐式匹配实现一步扩散蒸馏

    本研究解决了扩散模型生成现实样本时所需的多次采样步骤的问题。提出了一种名为得分隐式匹配（SIM）的新方法，能够将预训练的扩散模型蒸馏为单步生成模型，同时保持几乎相同的样本生成能力，并且不需要训练样本进行蒸馏。实验结果表明，SIM在CIFAR10数据集上的单步生成器表现优异，且成功应用于文本生成图像的转换中。

    Oct, 2024

  • 多学生扩散蒸馏提升一次性生成器性能

    本文解决了扩散模型在多步骤推理中生成高质量样本的问题，提出了一种多学生蒸馏框架（MSD），该框架可以将条件教师扩散模型蒸馏为多个单步生成器。通过为每个学生生成器分配条件数据的子集，MSD在相同能力下实现了更高的生成质量，同时显著加快了推理速度，并在一次性图像生成上获得了新的最优成绩。

    Oct, 2024