Dec, 2023

通过多阶段框架和定制的多解码器结构提高扩散模型的效率

PDF
TL;DR通过多阶段框架和多解码器 U-net 架构，我们提出了一种增强扩散模型训练和采样效率的方案，通过定制每个时间步长的不同参数，同时保留所有时间步长共享的通用参数，有效地分配计算资源并减轻阶段间干扰。
diffusion modelsgenerative toolstraining efficiencysampling efficiencymulti-decoder u-net architecture
发现论文，激发创造
  • 并非所有步骤相等：高效生成与渐进传播模型

    提出了一种名为 Step-Adaptive Training 的创新训练策略，通过在初始阶段训练一个基础去噪模型来涵盖所有时间步长，然后将时间步长分成不同的组，在每个组内进行微调以实现专门的去噪能力，这种方法不仅提高了模型性能，还显著降低了计算成本。

    Dec, 2023

  • 加快扩散：重新思考 Diffusion 模型中 UNet 编码器的作用

    通过对 UNet 编码器的全面研究，我们发现编码器特征变化温和，而解码器特征在不同时间步长间存在显著变化。根据这一观察，我们引入了一种简单而有效的编码器传播策略，以加速各种任务的扩散抽样。此外，我们还引入了一种先验噪声注入方法来改善生成图像的纹理细节。在不使用任何知识蒸馏技术的情况下，我们的方法能够加快 Stable Diffusion（SD）和 DeepFloyd-IF 模型的抽样速度分别为 41% 和 24%，同时保持高质量的生成性能。

    Dec, 2023

  • AutoDiffusion：无需训练的自动扩散模型加速的时间步长和架构优化

    我们提出了一种统一的框架来在扩散模型中实现有效的图像生成，其中搜索最佳时间步骤序列和压缩模型架构，无需进一步的训练。通过引入两阶段进化算法和使用生成和真实样本之间的 FID 评分来加速搜索过程，该方法在仅使用几个时间步骤时实现了出色的性能。

    Sep, 2023

  • 解构扩散模型中 Unet 的时态动力学

    通过研究 Unet 在去噪扩散概率模型中的动态行为，我们系统评估了时间步长和核心 Unet 组件对最终输出的影响，发现其中的生成阶段和 Unet 在推断中的使用模式，进而识别出改进 DDPM 中的冗余以提高推断速度，同时在输出质量方面几乎没有损失。我们的目标是为推断过程指导更明智的优化策略并影响新模型设计。

    Dec, 2023

  • 神经网络扩散

    扩散模型以及自动生成的神经网络参数，通过混合使用自动编码器和标准潜在扩散模型，从训练网络参数的随机噪声中合成潜在参数表示，并生成具有可用性的新的网络参数子集，从而稳定地提升性能。

    Feb, 2024

  • 用于生成性语音增强的单步和少步扩散

    通过两阶段训练方法，我们解决了扩散模型在语音增强中的潜在问题，实现了与基准模型相当的性能，缩短了推理过程时间，并显著优于扩散基线模型。

    Sep, 2023

  • 多架构多专家扩散模型

    本文提出了一种新颖的多专家方法 MEME，用于扩展扩散模型的过滤器以适应输入噪声的不同频率范围，并通过大量实验表明，MEME 在生成性能和计算效率方面优于传统方法

    Jun, 2023

  • 生成扩散模型的噪声估计

    本文提出一种简单而通用的学习方案，可针对任何给定步骤逐步调整噪声参数，从而显著提高类比扩散模型的综合结果。

    Apr, 2021

  • 超越 U：打造更快速、更轻量级的扩散模型

    利用连续动力系统设计一种新型去噪网络，以提高扩散模型的参数效率、收敛速度和噪声鲁棒性。与基准模型相比，该模型具有约四分之一的参数量和百分之三十的浮点操作数（FLOPs），推理速度提高了 70％，并且收敛到了更好的质量解。

    Oct, 2023

  • 一种适用于音视频生成的多功能扩散变压器

    通过使用新的训练方法和变量扩散时间步长，我们提出了一种基于转换器的音视频潜在扩散模型，可在任务不可知的情况下进行训练，并在推理过程中实现各种音视频生成任务，克服基线模型在生成条件输入上的时间和感知上的不连贯样本的局限性。

    May, 2024