Dec, 2023

并非所有步骤相等：高效生成与渐进传播模型

PDF
TL;DR提出了一种名为 Step-Adaptive Training 的创新训练策略，通过在初始阶段训练一个基础去噪模型来涵盖所有时间步长，然后将时间步长分成不同的组，在每个组内进行微调以实现专门的去噪能力，这种方法不仅提高了模型性能，还显著降低了计算成本。
diffusion modelsdenoising modelstep-adaptive trainingfine-tuningcomputational costs
发现论文，激发创造
  • 基于去噪任务难度的浸润模型训练的课程学习

    通过对任务困难度、收敛行为和概率分布间相对熵的变化进行综合观察，我们发现较早的时间步骤的去噪任务存在收敛缓慢和相对熵高的挑战，因此我们提出了一个易难混合的学习方案，借鉴了课程学习的思想，在训练过程中将时间步骤或噪声水平划分为难度递减的簇，并按顺序进行模型训练，以从易到难进行去噪任务，从而改变了同时跨越所有时间步骤训练扩散模型的传统方法。我们的方法通过利用课程学习的好处，提高了性能和收敛速度，并与扩散训练技术的现有改进保持正交性。我们通过在无条件生成、类条件生成和文本转图像生成等图像生成任务上的全面实验证实了这些优势。

    Mar, 2024

  • 生成扩散模型的噪声估计

    本文提出一种简单而通用的学习方案，可针对任何给定步骤逐步调整噪声参数，从而显著提高类比扩散模型的综合结果。

    Apr, 2021

  • AdaDiff：自适应步长选择的快速扩散

    AdaDiff 是一个轻量级框架，通过学习实例特定的步骤使用策略，优化了扩散模型的图像 / 视频生成过程，以最大化平衡推理时间和生成质量的回报函数，并在减少推理时间至少 33% 的情况下实现与基准方法相似的视觉质量。

    Nov, 2023

  • 通过多阶段框架和定制的多解码器结构提高扩散模型的效率

    通过多阶段框架和多解码器 U-net 架构，我们提出了一种增强扩散模型训练和采样效率的方案，通过定制每个时间步长的不同参数，同时保留所有时间步长共享的通用参数，有效地分配计算资源并减轻阶段间干扰。

    Dec, 2023

  • 利用时间步调节器实现更准确的扩散模型加速

    我们提出了一种时间步齐器方法，用于改善扩散模型的图像生成质量和推理速度，通过在每个去噪步骤中替换原始参数化，将网络调整到准确的时间步骤上，从而提高各种最先进加速方法的性能。

    Oct, 2023

  • 用于生成性语音增强的单步和少步扩散

    通过两阶段训练方法，我们解决了扩散模型在语音增强中的潜在问题，实现了与基准模型相当的性能，缩短了推理过程时间，并显著优于扩散基线模型。

    Sep, 2023

  • AutoDiffusion：无需训练的自动扩散模型加速的时间步长和架构优化

    我们提出了一种统一的框架来在扩散模型中实现有效的图像生成，其中搜索最佳时间步骤序列和压缩模型架构，无需进一步的训练。通过引入两阶段进化算法和使用生成和真实样本之间的 FID 评分来加速搜索过程，该方法在仅使用几个时间步骤时实现了出色的性能。

    Sep, 2023

  • 动态双输出扩散模型

    在这篇文章中，我们发现了扩散模型生成质量受到迭代次数限制的根本原因，并提出了一个简单而有效的解决方案来缓解这些影响。我们的解决方案可以应用于任何现有的扩散模型，并且在各种 SOTA 体系结构上运行多个数据集和配置进行实验和详尽的消融研究，证明能够立即提高它们的生成质量。

    Mar, 2022

  • D3AD：动态去噪扩散概率模型用于异常检测

    扩展前述的隐式条件方法，我们提出了一种新的框架，通过动态步长计算、无噪声缩放输入和潜在空间投影的方式增强了扩散模型的能力，有效地定位异常并在两个著名异常检测数据集上取得了最先进的性能。

    Jan, 2024

  • 时钟扩散：基于模型步骤提炼的高效生成

    该研究旨在提高文本到图像扩散模型的效率，通过周期性地重复利用计算以近似低分辨率特征图，在保持感知分数可比拟或改善的同时，大大减少了计算复杂度。

    Dec, 2023