快速扩散模型

Jun, 2023

Fast Diffusion Model

Zike Wu, Pan Zhou, Kenji Kawaguchi, Hanwang Zhang

TL;DR提出了快速扩散模型（FDM），它将扩散模型（DM）的扩散过程从随机优化角度进行改进，以加速训练和采样。实验证明，FDM 可以应用于多种流行的 DM 框架，并在 CIFAR-10、FFHQ 和 AFHQv2 数据集上具有可比的图像合成性能。而且，FDM 通过将采样步骤减少约 3 倍来实现相似的性能，从而将训练成本降低约 50％。

Abstract

Despite their success in real data synthesis, diffusion models (DMs) often suffer from slow and costly training and sampling issues, limiting their broader applications. To mitigate this, we propose a fast diffusion mod

diffusion models fast diffusion model stochastic optimization momentum-based diffusion process image synthesis

发现论文，激发创造

加速扩散模型的训练：一种一致性现象的启示

扩散模型在近年来引起了广泛关注，然而其高计算成本限制了实际应用，本文通过研究发现了扩散模型的稳定性，并提出了两种训练加速策略，即课程学习的时间步骤调度和动量衰减策略。实验结果表明，这些策略可以显著减少训练时间并提高生成图像的质量。

Mar, 2024

视觉的高效扩散模型：一项调查

本综述主要介绍了最近视觉领域中扩散模型的进展，特别是那些影响扩散模型计算效率的重要设计方面，重点是强调了最近提出的设计选择，这些选择导致更高效的扩散模型。

Oct, 2022

医学图像生成的快速去噪扩散概率模型

Fast-DDPM 是一种简单而有效的方法，可同时提高训练速度、采样速度和生成质量，通过仅使用 10 个时间步进行训练和采样，相比 DDPM，Fast-DDPM 能够在医学图像生成任务中优于基于卷积网络和生成对抗网络的当前最先进方法，并将训练时间缩短了 5 倍，采样时间缩短了 100 倍。

May, 2024

扩散模型是固有的一步生成器

扩散模型的实例教学方法和分布教学方法在图像生成模型方面取得了显著的研究成果，提出的分布教学方法在减少训练图像数量的同时取得了最先进的结果，提高了对高效图像生成模型的理解并为各种应用提供了可扩展的框架。

May, 2024

指数积分快速采样扩散模型

研究 Diffusion models（DMs）的采样过程，提出了一种基于指数积分器的采样方法，可以在较少的步骤中生成高保真的样本，并在有限的评分功能评估数下达到最新的采样性能。

Apr, 2022

固定点扩散模型

我们介绍了一种新颖的方法 ——Fixed Point Diffusion Model（FPDM），它将固定点求解的概念融入了基于扩散的生成模型框架中。通过将隐式固定点求解层嵌入到扩散模型的去噪网络中，我们的方法将扩散过程转化为一系列紧密相关的固定点问题。结合新的随机训练方法，这种方法显著减小了模型大小，降低了内存使用量，并加快了训练速度。此外，它还提供了两种新技术来提高采样效率：在时间步长之间重新分配计算和重用固定点解。我们在 ImageNet、FFHQ、CelebA-HQ 和 LSUN-Church 上进行了大量实验，证明了性能和效率的显著改进。与最先进的 DiT 模型相比，FPDM 的参数数量减少了 87%，训练过程中的内存消耗减少了 60%，并且在采样计算或时间有限的情况下提高了图像生成质量。我们的代码和预训练模型可以在此 https URL 中获得。

Jan, 2024

超越 U：打造更快速、更轻量级的扩散模型

利用连续动力系统设计一种新型去噪网络，以提高扩散模型的参数效率、收敛速度和噪声鲁棒性。与基准模型相比，该模型具有约四分之一的参数量和百分之三十的浮点操作数（FLOPs），推理速度提高了 70％，并且收敛到了更好的质量解。

Oct, 2023

关于扩散概率模型的快速采样

FastDPM 是一种用于快速抽样扩散概率模型的统一框架，通过在不同领域、不同数据集上系统地研究该框架下的快速抽样方法，探讨了特定方法在不同数据领域、抽样速度与质量权衡以及条件信息的数量上的性能差异，并为从业者提供了选择方法的洞见和配方。

May, 2021

分析和改进扩散模型的训练动力学

该研究提出了改进 ADM 扩散模型架构以解决不均匀训练、网络激活以及指数移动平均参数的问题，使得图像合成在计算复杂度相等的情况下得到了显著改进。

Dec, 2023

直接去噪扩散模型

本文介绍了直接去噪扩散模型（DDDM）：一种生成逼真图像的简单且通用方法，具有少步采样的特点，同时保留了多步采样以获得更好的性能。DDDM 不需要精心设计的采样器或预训练的蒸馏模型，而是以自身的先前训练迭代生成的估计目标为条件进行扩散模型的训练，通过考虑前一时间步生成的样本来引导迭代生成过程。我们还提出了 Pseudo-LPIPS，一种对各种超参数值更鲁棒的新型度量损失。尽管简单，该方法在基准数据集上表现出强大的性能。我们的模型在 CIFAR-10 上分别以一步采样和两步采样的 FID 分数为 2.57 和 2.33，超越了 GAN 和蒸馏基模型获得的分数。通过将采样扩展到 1000 步，我们将 FID 分数进一步降低到 1.79，与文献中的最先进方法相一致。在 ImageNet 64x64 上，我们的方法与主要模型相当。

May, 2024