May, 2024

Adv-KD: 教师对抗知识蒸馏以加速扩散采样

PDF
TL;DR通过将去噪步骤直接整合到模型的架构中，本研究提出了一种新方法，将扩散模型与生成对抗网络结合起来，通过知识蒸馏实现更高效的训练和评估，从而减少了所需的参数和去噪步骤，提高了测试时的采样速度。
diffusion probabilistic modelsdeep generative modelsdenoising stepsadversarial learningresource-constrained devices
发现论文，激发创造
  • 改进降噪扩散概率模型

    通过对 DDPM 模型进行简单修改，可以在保持高质量样本的同时达到具有竞争力的对数似然值，并学习反向扩散过程的方差，从而使用数量级更少的正向传递采样。使用精度和召回率比较 DDPM 和 GAN 模型的性能，并证明这些模型的样本质量和似然值可以与模型容量和训练计算平稳地提高。

    Feb, 2021

  • 通过对抗性噪声实现扩散模型中的高效迁移学习

    本文提出了一种基于 DPMs 的迁移学习方法 TAN，通过相似性引导训练和对抗性噪声选择两种策略，解决了数据有限的问题，实验表明相比现有的基于 GAN 和 DDPM 的方法，我们的方法在图像质量和多样性方面表现出色且高效。

    Aug, 2023

  • 医学图像生成的快速去噪扩散概率模型

    Fast-DDPM 是一种简单而有效的方法，可同时提高训练速度、采样速度和生成质量，通过仅使用 10 个时间步进行训练和采样，相比 DDPM，Fast-DDPM 能够在医学图像生成任务中优于基于卷积网络和生成对抗网络的当前最先进方法，并将训练时间缩短了 5 倍，采样时间缩短了 100 倍。

    May, 2024

  • 迭代生成模型中的知识蒸馏以提高采样速度

    本篇论文介绍了一种新的技术，将多步去噪过程压缩为单步的知识蒸馏方法，从而提高图像生成的采样速度，且不需要对抗训练，通过在 CIFAR-10、CelebA 数据集上的实验表明，我们的去噪学生 Denoising Student 能够生成与 GANs 相当的高质量样本，并可扩展到更高像素的图像生成任务。

    Jan, 2021

  • UDPM: 上采样扩散概率模型

    本文介绍了一种基于 Markovian 过程的 Upsampling Diffusion Probabilistic Model（UDPM），相较于传统的 Denoising Diffusion Probabilistic Models（DDPM），它在降低潜变量维度的同时，仅需 7 个扩散步骤即可生成 $256 imes 256$ 的高清图像。

    May, 2023

  • 半隐式去噪扩散模型（SIDDM）

    通过匹配隐式和显式因素，我们提出了一种新的方法，以解决生成模型中的采样难题，该方法利用隐式模型匹配噪声数据的边缘分布和前向扩散的显式条件分布，以有效地匹配联合降噪分布，并获得与扩散模型相当的生成性能和比采样步骤少的模型相比更好的结果。

    Jun, 2023

  • 去噪扩散概率模型的生成型量子机器学习

    基于经典对应物，我们提出了量子去噪扩散概率模型（QuDDPM），以实现对量子数据的高效可训练生成学习。

    Oct, 2023

  • 用去噪漂移 GAN 解决生成学习三难问题

    本文提出了一种基于多模式条件 GAN，使其具有高样本质量、高模式覆盖和快速采样三个特性的去噪扩散生成对抗网络，同时在 CIFAR-10 数据集上比原扩散模型快 2000 倍，并且是第一种将采样成本降至足够低以便于应用于实际应用的模型。

    Dec, 2021

  • 高效学习从扩散概率模型中采样

    提出了一种动态规划算法，基于 ELBO 分解原理，可用于任何预先训练的 DDPM，通过优化推理时间表来发现最优的离散时间表，从而实现生成速度与样本质量之间的平衡。

    Jun, 2021

  • 对抗去噪扩散模型用于无监督异常检测

    本文提出了基于敌对去噪扩散模型（ADDM）的研究。ADDM 基于去噪扩散概率模型（DDPM），并通过敌对学习进行互补训练。实验结果表明，ADDM 在无监督 MRI 图像异常检测上表现优于现有的基于生成模型的无监督异常检测方法。

    Dec, 2023