利用时间步调节器实现更准确的扩散模型加速

Oct, 2023

利用时间步调节器实现更准确的扩散模型加速

Towards More Accurate Diffusion Model Acceleration with A Timestep Aligner

Mengfei Xia, Yujun Shen, Changsong Lei, Yu Zhou, Ran Yi...

TL;DR我们提出了一种时间步齐器方法，用于改善扩散模型的图像生成质量和推理速度，通过在每个去噪步骤中替换原始参数化，将网络调整到准确的时间步骤上，从而提高各种最先进加速方法的性能。

Abstract

A diffusion model, which is formulated to produce an image using thousands of denoising steps, usually suffers from a slow inference speed

diffusion model image generation denoising steps inference speed timestep aligner

发现论文，激发创造

并非所有步骤相等：高效生成与渐进传播模型

提出了一种名为 Step-Adaptive Training 的创新训练策略，通过在初始阶段训练一个基础去噪模型来涵盖所有时间步长，然后将时间步长分成不同的组，在每个组内进行微调以实现专门的去噪能力，这种方法不仅提高了模型性能，还显著降低了计算成本。

Dec, 2023

AutoDiffusion：无需训练的自动扩散模型加速的时间步长和架构优化

我们提出了一种统一的框架来在扩散模型中实现有效的图像生成，其中搜索最佳时间步骤序列和压缩模型架构，无需进一步的训练。通过引入两阶段进化算法和使用生成和真实样本之间的 FID 评分来加速搜索过程，该方法在仅使用几个时间步骤时实现了出色的性能。

Sep, 2023

通过时移采样缓解扩散模型中的暴露偏差

本文研究了扩散模型中存在的曝光偏差，并提出了一种名为 Time-Shift Sampler 的推理方法，该方法可以在不重新训练模型的情况下缓解曝光偏差，并通过实验结果证明了其有效性。

May, 2023

对时间步骤的深入研究值得将扩散模型训练速度提升三倍

通过对时间步骤的详细研究，我们介绍了一种名为的扩散模型训练加速新方法，该方法可以显著减少训练时间，并通过非对称采样策略和加权策略来优化训练过程，实现了多种扩散架构、数据集和任务的 3 倍加速。

May, 2024

TEDi: 长期运动合成的时间交织扩散

我们提出了一种将渐进扩散概念（沿着扩散时间轴操作）扩展到运动序列的方法，用于支持时变去噪，从而将两个轴相互纠缠，通过迭代去噪逐渐增加噪声位移的动作缓冲区，并产生任意长的帧流，为长期运动合成提供了新的框架。

Jul, 2023

优化时间步长加速扩散采样

通过设计一个优化问题，并使用约束信任区域方法，我们提出了一种针对特定数值 ODE 解算器的扩散概率模型 (DPMs) 寻找更合适的时间步长的通用框架，该框架能显著改善图像生成性能。

Feb, 2024

AdaDiff：自适应步长选择的快速扩散

AdaDiff 是一个轻量级框架，通过学习实例特定的步骤使用策略，优化了扩散模型的图像 / 视频生成过程，以最大化平衡推理时间和生成质量的回报函数，并在减少推理时间至少 33% 的情况下实现与基准方法相似的视觉质量。

Nov, 2023

直接去噪扩散模型

本文介绍了直接去噪扩散模型（DDDM）：一种生成逼真图像的简单且通用方法，具有少步采样的特点，同时保留了多步采样以获得更好的性能。DDDM 不需要精心设计的采样器或预训练的蒸馏模型，而是以自身的先前训练迭代生成的估计目标为条件进行扩散模型的训练，通过考虑前一时间步生成的样本来引导迭代生成过程。我们还提出了 Pseudo-LPIPS，一种对各种超参数值更鲁棒的新型度量损失。尽管简单，该方法在基准数据集上表现出强大的性能。我们的模型在 CIFAR-10 上分别以一步采样和两步采样的 FID 分数为 2.57 和 2.33，超越了 GAN 和蒸馏基模型获得的分数。通过将采样扩展到 1000 步，我们将 FID 分数进一步降低到 1.79，与文献中的最先进方法相一致。在 ImageNet 64x64 上，我们的方法与主要模型相当。

May, 2024

图像恢复的高效扩散模型：残差位移

通过建立马尔可夫链以提高高质量图像和低质量图像之间转换的效率，并通过精心设计的噪声方案灵活控制扩散过程中的转移速度和噪声强度，本研究提出了一种新的高效扩散模型用于图像恢复，表现优越或可媲美现有的方法，甚至只需进行四步采样。

Mar, 2024

扩散模型的并行采样

本文介绍了一种新的方法 ParaDiGMS，通过并行执行多个去噪步骤来加速预训练扩散模型的采样速度。该方法通过使用 Picard 迭代猜测未来去噪步骤的解，并迭代地进行加工，从而使扩散采样过程可以并行化，使计算机可用性更高。使用 ParaDiGMS，各种机器人和图像生成模型的采样速度提高 2-4 倍，无论对任务奖励、FID 分数、还是 CLIP 分数都没有任何可感知的退化。

May, 2023