Feb, 2024

T-Stitch：使用轨迹拼接加速预训练扩散模型的采样

HTML
PDF
TL;DR使用Trajectory Stitching T-Stitch技术，通过使用较小的diffusion probabilistic model（DPM）进行初始步骤，然后在后续阶段转换为更大的DPM，实现采样效率的提高而无需降低生成质量。该方法是无需训练的，适用于不同结构，能够在速度和质量之间灵活权衡。
发现论文，激发创造
  • 关于扩散概率模型的快速采样

    FastDPM是一种用于快速抽样扩散概率模型的统一框架，通过在不同领域、不同数据集上系统地研究该框架下的快速抽样方法，探讨了特定方法在不同数据领域、抽样速度与质量权衡以及条件信息的数量上的性能差异，并为从业者提供了选择方法的洞见和配方。

    May, 2021

  • 关于引导式扩散模型的精馏

    本文介绍了一种将分类器自由引导扩散模型蒸馏为更快采样的方法，以减少推理时间，并取得了与原始模型相当的图像有效性。

    Oct, 2022

  • 透过误差分析的角度快速扩散概率模型采样

    本研究提出了一种基于“限制后向误差进度表”（RBE进度表）的快速采样方法，使Denoising Diffusion Probabilistic Models（DDPM）拥有更快的采样速度而不需要进一步训练，并在各种基准数据集上实现了高品质图像的生成。

    Apr, 2023

  • Patch Diffusion：扩散模型的更快、更省数据训练

    提出了一种名为Patch Diffusion的通用Patch-wise训练框架，其核心创新是新的条件分数函数，它在原始图像的Patch级别包括Patch位置作为附加坐标通道，并且通过训练在多个尺度上对Patch大小进行随机和多样化，从而达到显著减少训练时间成本同时提高数据效率以帮助更广泛的用户学习扩散模型。

    Apr, 2023

  • 通过时移采样缓解扩散模型中的暴露偏差

    本文研究了扩散模型中存在的曝光偏差，并提出了一种名为 Time-Shift Sampler 的推理方法，该方法可以在不重新训练模型的情况下缓解曝光偏差，并通过实验结果证明了其有效性。

    May, 2023

  • 具有明确转移概率的解耦扩散模型

    本文提出了一种名为DDM的扩散模型，通过将复杂的扩散过程分解为两个相对简单的过程，来提高生成效果和速度，它通过显式转移概率近似图像分布，并通过标准维纳过程控制噪声路径；文章还提出了一个新的DPM训练目标，能够分别预测噪声和图像成分，同时，DDM的逆向去噪公式可以自然地支持少数的生成步骤（不需要基于ODE的加速器），实验结果表明，DDM在更少的函数评估方面优于以前的DPM。

    Jun, 2023

  • 优化时间步长加速扩散采样

    通过设计一个优化问题，并使用约束信任区域方法，我们提出了一种针对特定数值ODE解算器的扩散概率模型(DPMs)寻找更合适的时间步长的通用框架，该框架能显著改善图像生成性能。

    Feb, 2024

  • 通过矩匹配多步蒸馏扩散模型

    我们提出了一种新的方法，通过匹配沿采样轨迹给定噪声数据的干净数据的条件期望来将扩散模型加速采样，从而将多步扩散模型提炼为少步模型。我们的方法扩展了最近提出的一步方法到多步情况，并通过以矩匹配的方式解释这些方法，从而提供了一种新的视角。通过使用多达8个采样步骤，我们获得的提炼模型不仅在Imagnet数据集上超越了其一步版本，还超越了原始的多步教师模型，获得了最新的最先进结果。我们还展示了一种大型文本到图像模型的有希望结果，在该模型中，我们可以直接在图像空间中快速生成高分辨率图像，而无需自编码器或上采样器。

    Jun, 2024

  • 加速扩散模型取样的简单早期退出框架

    该研究解决了扩散模型在取样速度上存在的瓶颈，通过提出一种新的框架，能够自适应地分配计算资源以估计得分，从而减少整体取样时间。研究发现，得分估计所需的计算量会随着时间步变化，提出的早期退出策略能够在不影响图像质量的前提下显著提高取样吞吐量。

    Aug, 2024

  • PFDiff：通过过去和未来的梯度引导加速扩散模型的训练无关方法

    本研究解决了扩散概率模型（DPM）在图像生成中的采样效率问题，主要由于需要大量去噪步骤。通过提出一种新的训练无关的时间步长跳跃策略PFDiff，本工作能够减少所需的函数评估次数（NFE），同时有效校正离散化误差，实验结果显示PFDiff在多个预训练的DPM中具有灵活性和优越性。

    Aug, 2024