Dec, 2023

加快扩散：重新思考 Diffusion 模型中 UNet 编码器的作用

PDF
TL;DR通过对 UNet 编码器的全面研究，我们发现编码器特征变化温和，而解码器特征在不同时间步长间存在显著变化。根据这一观察，我们引入了一种简单而有效的编码器传播策略，以加速各种任务的扩散抽样。此外，我们还引入了一种先验噪声注入方法来改善生成图像的纹理细节。在不使用任何知识蒸馏技术的情况下，我们的方法能够加快 Stable Diffusion（SD）和 DeepFloyd-IF 模型的抽样速度分别为 41% 和 24%，同时保持高质量的生成性能。
unetencoderdiffusion modelsnoise predictiongeneration performance
发现论文，激发创造
  • 解构扩散模型中 Unet 的时态动力学

    通过研究 Unet 在去噪扩散概率模型中的动态行为，我们系统评估了时间步长和核心 Unet 组件对最终输出的影响，发现其中的生成阶段和 Unet 在推断中的使用模式，进而识别出改进 DDPM 中的冗余以提高推断速度，同时在输出质量方面几乎没有损失。我们的目标是为推断过程指导更明智的优化策略并影响新模型设计。

    Dec, 2023

  • 通过多阶段框架和定制的多解码器结构提高扩散模型的效率

    通过多阶段框架和多解码器 U-net 架构，我们提出了一种增强扩散模型训练和采样效率的方案，通过定制每个时间步长的不同参数，同时保留所有时间步长共享的通用参数，有效地分配计算资源并减轻阶段间干扰。

    Dec, 2023

  • U-Nets 作为信念传播：在生成层次模型中高效分类、去噪和扩散

    通过研究某些生成式分层模型，本文引入了 U-Net 架构的新解释，它是一种在语言和图像领域广泛使用的树状结构图模型。我们演示了 U-Net 如何自然地在这些生成式分层模型中实现置信传播去噪算法，并以此高效逼近去噪函数。此外，我们讨论了这些发现对生成式分层模型中扩散模型的更广泛影响，还证明了卷积神经网络 (ConvNets) 的传统架构在这些模型中非常适合分类任务，从而突显出生成式分层模型在语言和图像领域中建模复杂数据分布的多功能性。

    Apr, 2024

  • DeepCache：加速扩散模型的自由之选

    Diffusion models have gained attention in image synthesis, and this paper introduces DeepCache, a training-free paradigm that accelerates diffusion models by capitalizing on temporal redundancy in denoising steps and achieving a speedup factor of 2.3x for Stable Diffusion v1.5 and 4.1x for LDM-4-G without significant decline in CLIP Score or FID on ImageNet.

    Dec, 2023

  • 扩散采样中跳过调谐的令人惊讶的有效性

    通过引入 UNet 架构，扩散概率模型已成为图像生成任务中的主导力量，文章提出了 Skip-Tuning 方法，在跳跃连接上实现了 100% 的 FID 改进，挑战了 ODE 采样器的限制。

    Feb, 2024

  • 无文本扩散模型是否学习到有辨别力的视觉表征

    一个统一的表示学习模型，通过使用扩散模型、U-Net、注意机制和反馈机制，能够在多个任务上竞争最先进的无监督图像表示学习方法。

    Nov, 2023

  • 超越 U：打造更快速、更轻量级的扩散模型

    利用连续动力系统设计一种新型去噪网络，以提高扩散模型的参数效率、收敛速度和噪声鲁棒性。与基准模型相比，该模型具有约四分之一的参数量和百分之三十的浮点操作数（FLOPs），推理速度提高了 70％，并且收敛到了更好的质量解。

    Oct, 2023

  • Diffusion U-Net 中的免费午餐

    我们利用扩散 U-Net 的潜力，提出了一种名为 “FreeU” 的简单而有效的方法，通过重新加权 U-Net 的跳跃连接和骨干特征图的贡献，结合两个组件的优势，大大提高了生成质量。

    Sep, 2023

  • U-Net 设计与分析的统一框架

    本文提出了一个设计和分析通用 U-Net 体系结构的框架，介绍了它们在编码器和解码器中的作用，通过预处理与 ResNets 的相关性及其高分辨率缩放极限，为 PDE 模型、图像分割和扩散模型提供了更好的性能，并提出设计新的 U-Net 架构以便超越方形外的多种问题

    May, 2023

  • 扩散模型在图像分类上胜过 GAN

    本文探讨了使用一种单一的预训练阶段进行生成性和判别性任务的统一表征学习器 —— 扩散模型，并发现这种模型在图像分类任务中具有优异的性能，特别是在经过精心特征选择和池化的情况下，扩散模型明显优于 BigBiGAN 等其他可比较的生成 - 判别方法

    Jul, 2023