Dec, 2023

解构扩散模型中 Unet 的时态动力学

PDF
TL;DR通过研究 Unet 在去噪扩散概率模型中的动态行为，我们系统评估了时间步长和核心 Unet 组件对最终输出的影响，发现其中的生成阶段和 Unet 在推断中的使用模式，进而识别出改进 DDPM 中的冗余以提高推断速度，同时在输出质量方面几乎没有损失。我们的目标是为推断过程指导更明智的优化策略并影响新模型设计。
diffusion modelsunetdenoising diffusion probabilistic modelstemporal dynamicsglide
发现论文，激发创造
  • 超越 U：打造更快速、更轻量级的扩散模型

    利用连续动力系统设计一种新型去噪网络，以提高扩散模型的参数效率、收敛速度和噪声鲁棒性。与基准模型相比，该模型具有约四分之一的参数量和百分之三十的浮点操作数（FLOPs），推理速度提高了 70％，并且收敛到了更好的质量解。

    Oct, 2023

  • 加快扩散：重新思考 Diffusion 模型中 UNet 编码器的作用

    通过对 UNet 编码器的全面研究，我们发现编码器特征变化温和，而解码器特征在不同时间步长间存在显著变化。根据这一观察，我们引入了一种简单而有效的编码器传播策略，以加速各种任务的扩散抽样。此外，我们还引入了一种先验噪声注入方法来改善生成图像的纹理细节。在不使用任何知识蒸馏技术的情况下，我们的方法能够加快 Stable Diffusion（SD）和 DeepFloyd-IF 模型的抽样速度分别为 41% 和 24%，同时保持高质量的生成性能。

    Dec, 2023

  • 空间频率 U-Net 用于去噪扩散概率模型

    本研究使用 SFUNet 架构，以小波域而非像素空间中的 denoising diffusion probabilistic model (DDPM) 进行图像合成，通过捕捉空频域的相关性来改进像素数据的标准去噪 U-Net 结构，从而提高 CIFAR-10、FFHQ、LSUN-Bedroom 和 LSUN-Church 数据集上的图像合成质量。

    Jul, 2023

  • U-Nets 作为信念传播：在生成层次模型中高效分类、去噪和扩散

    通过研究某些生成式分层模型，本文引入了 U-Net 架构的新解释，它是一种在语言和图像领域广泛使用的树状结构图模型。我们演示了 U-Net 如何自然地在这些生成式分层模型中实现置信传播去噪算法，并以此高效逼近去噪函数。此外，我们讨论了这些发现对生成式分层模型中扩散模型的更广泛影响，还证明了卷积神经网络 (ConvNets) 的传统架构在这些模型中非常适合分类任务，从而突显出生成式分层模型在语言和图像领域中建模复杂数据分布的多功能性。

    Apr, 2024

  • 通过多阶段框架和定制的多解码器结构提高扩散模型的效率

    通过多阶段框架和多解码器 U-net 架构，我们提出了一种增强扩散模型训练和采样效率的方案，通过定制每个时间步长的不同参数，同时保留所有时间步长共享的通用参数，有效地分配计算资源并减轻阶段间干扰。

    Dec, 2023

  • Diffusion U-Net 中的免费午餐

    我们利用扩散 U-Net 的潜力，提出了一种名为 “FreeU” 的简单而有效的方法，通过重新加权 U-Net 的跳跃连接和骨干特征图的贡献，结合两个组件的优势，大大提高了生成质量。

    Sep, 2023

  • 时钟扩散：基于模型步骤提炼的高效生成

    该研究旨在提高文本到图像扩散模型的效率，通过周期性地重复利用计算以近似低分辨率特征图，在保持感知分数可比拟或改善的同时，大大减少了计算复杂度。

    Dec, 2023

  • 异形山谷：扩散模型的全面分析

    通过扩散模型（Diffusion Models），我们在生成高质量图像方面取得了重要进展，通过系统研究不同扩散模型架构的关键方面，如噪声调度、采样器和引导，我们深入探索了这些模型的核心操作原理。通过全面分析这些模型，我们揭示了它们隐藏的基础机制，揭示了对其有效性至关重要的隐藏关键因素。我们的分析强调了决定模型性能的隐藏关键因素，为扩散模型的发展提供了见解。

    Feb, 2024

  • 基于扩散的图像修复统一条件框架

    本文提出了一种基于扩散模型的统一条件框架，结合了轻量级 UNet 和固有的差异模型来增强图像恢复的物理约束，采用基本和集成模块实现了对所有块的引导和其他辅助条件信息的整合，并提出了简单而有效的截距补丁分裂策略，将其用于低光量去噪、去模糊和 JPEG 图像恢复的挑战任务中，得到了显著的感知质量提升和恢复任务的推广。

    May, 2023

  • 脉冲去噪扩散概率模型

    本文提出了一种新的基于脉冲神经网络的生成模型 ——SDDPM，通过仅使用 4 个时间步骤的纯脉冲 U-Net 体系结构，实现与其 ANN 模型的可比性能，从而充分利用脉冲神经网络的能源效率，并在 CIFAR-10 和 CelebA 数据集上实现了卓越的性能，是脉冲神经网络生成领域的重大进展。

    Jun, 2023