Jan, 2024

固定点扩散模型

PDF
TL;DR我们介绍了一种新颖的方法 ——Fixed Point Diffusion Model（FPDM），它将固定点求解的概念融入了基于扩散的生成模型框架中。通过将隐式固定点求解层嵌入到扩散模型的去噪网络中，我们的方法将扩散过程转化为一系列紧密相关的固定点问题。结合新的随机训练方法，这种方法显著减小了模型大小，降低了内存使用量，并加快了训练速度。此外，它还提供了两种新技术来提高采样效率：在时间步长之间重新分配计算和重用固定点解。我们在 ImageNet、FFHQ、CelebA-HQ 和 LSUN-Church 上进行了大量实验，证明了性能和效率的显著改进。与最先进的 DiT 模型相比，FPDM 的参数数量减少了 87%，训练过程中的内存消耗减少了 60%，并且在采样计算或时间有限的情况下提高了图像生成质量。我们的代码和预训练模型可以在此 https URL 中获得。
发现论文，激发创造
  • 文本到图像扩散模型的固定点反演

    通过固定点迭代的方法解决了扭曲反演的技术性挑战，设计了用于图像生成和处理的基于文本引导的扩散模型，并通过提示感知的编码调整改进了反演质量，最终在多个下游任务中取得了显著的改进。

    Dec, 2023

  • 医学图像生成的快速去噪扩散概率模型

    Fast-DDPM 是一种简单而有效的方法，可同时提高训练速度、采样速度和生成质量，通过仅使用 10 个时间步进行训练和采样，相比 DDPM，Fast-DDPM 能够在医学图像生成任务中优于基于卷积网络和生成对抗网络的当前最先进方法，并将训练时间缩短了 5 倍，采样时间缩短了 100 倍。

    May, 2024

  • 超越 U：打造更快速、更轻量级的扩散模型

    利用连续动力系统设计一种新型去噪网络，以提高扩散模型的参数效率、收敛速度和噪声鲁棒性。与基准模型相比，该模型具有约四分之一的参数量和百分之三十的浮点操作数（FLOPs），推理速度提高了 70％，并且收敛到了更好的质量解。

    Oct, 2023

  • 直接去噪扩散模型

    本文介绍了直接去噪扩散模型（DDDM）：一种生成逼真图像的简单且通用方法，具有少步采样的特点，同时保留了多步采样以获得更好的性能。DDDM 不需要精心设计的采样器或预训练的蒸馏模型，而是以自身的先前训练迭代生成的估计目标为条件进行扩散模型的训练，通过考虑前一时间步生成的样本来引导迭代生成过程。我们还提出了 Pseudo-LPIPS，一种对各种超参数值更鲁棒的新型度量损失。尽管简单，该方法在基准数据集上表现出强大的性能。我们的模型在 CIFAR-10 上分别以一步采样和两步采样的 FID 分数为 2.57 和 2.33，超越了 GAN 和蒸馏基模型获得的分数。通过将采样扩展到 1000 步，我们将 FID 分数进一步降低到 1.79，与文献中的最先进方法相一致。在 ImageNet 64x64 上，我们的方法与主要模型相当。

    May, 2024

  • 快速扩散模型

    提出了快速扩散模型（FDM），它将扩散模型（DM）的扩散过程从随机优化角度进行改进，以加速训练和采样。实验证明，FDM 可以应用于多种流行的 DM 框架，并在 CIFAR-10、FFHQ 和 AFHQv2 数据集上具有可比的图像合成性能。而且，FDM 通过将采样步骤减少约 3 倍来实现相似的性能，从而将训练成本降低约 50％。

    Jun, 2023

  • 针对高分辨率图像合成的修复去噪扩散模型

    我们提出了一种有效的去噪扩散模型，用于生成高分辨率图像 (例如 1024x512)，该模型是在小尺寸图像块 (例如 64x64) 上训练的。我们的算法名为 Patch-DM，其中设计了一种新的特征拼贴策略，以避免合成大尺寸图像时的边界伪影。通过特征拼贴，我们可以系统地裁剪并组合相邻图像块的部分特征来预测移位图像块的特征，从而在图像块特征空间中的重叠区域中实现整个图像的无缝生成。Patch-DM 在我们新收集的自然图像数据集 (1024x512) 以及标准基准较小尺寸 (256x256) 上产生了高质量的图像合成结果，包括 LSUN-Bedroom、LSUN-Church 和 FFHQ。我们将我们的方法与以前的基于图像块的生成方法进行了比较，并在所有四个数据集上获得了最先进的 FID 分数。此外，与经典的扩散模型相比，Patch-DM 还减少了内存复杂度。

    Aug, 2023

  • PartDiff：利用部分扩散模型的图像超分辨率

    通过学习逐渐将数据分布扩散为高斯噪声的过程，并以随机噪声进行迭代去噪处理，去噪扩散概率模型（DDPMs）在各种图像生成任务中取得了令人印象深刻的性能。本文提出了部分扩散模型（PartDiff），通过将图像扩散到中间潜在状态而不是纯随机噪声来生成新数据，并采用近似于低分辨率图像扩散的潜在状态来逼近中间潜在状态。实验证明，与纯扩散基础的超分辨率方法相比，部分扩散模型可以显著减少去噪步骤的数量而不损失生成的质量。

    Jul, 2023

  • 使用潜在扩散模型进行高分辨率图像合成

    通过在预训练的自编码器的潜在空间中应用扩散模型，引入交叉注意力层到模型体系结构中，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级 DMs 对计算资源的需求。

    Dec, 2021

  • UDPM: 上采样扩散概率模型

    本文介绍了一种基于 Markovian 过程的 Upsampling Diffusion Probabilistic Model（UDPM），相较于传统的 Denoising Diffusion Probabilistic Models（DDPM），它在降低潜变量维度的同时，仅需 7 个扩散步骤即可生成 $256 imes 256$ 的高清图像。

    May, 2023

  • 高保真基于扩散的图像编辑

    扩散模型在图像生成和编辑领域取得了显著的成功。我们提出了一种创新的框架，其中包含一个修正模块，用残差特征调节扩散模型权重，以填补编辑过程中准确性的差距。此外，我们引入了一种新的学习范式，旨在在编辑过程中最小化错误传播。通过大量实验证明，我们的提议框架和训练策略在各种去噪步骤下实现了高保真的重建和编辑结果，并在定量指标和质量评估方面表现出色。此外，我们还通过图像到图像的转换和跨领域图像编辑等多个应用探索了模型的泛化能力。

    Dec, 2023