Dec, 2023

离散扩散模型的快速采样通过去随机化

PDF
TL;DR通过提出一种新颖的去随机扩散过程，我们加速了离散扩散模型的算法；我们还引入了一种连续时间采样算法，能够比有限步长的离散时间采样算法提供更好的样本质量。大量实验表明，在自然语言生成和机器翻译任务中，我们的方法在离散扩散模型的生成速度和样本质量方面表现出优越性。
diffusion modelsdiscrete diffusion modelsde-randomized diffusion processsampling algorithmnatural language generation
发现论文，激发创造
  • 一个重新参数化的离散扩散模型用于文本生成

    本研究使用离散扩散概率模型研究自然语言生成，提出了一种重新参数化离散扩散模型，并进行了大量实验以证明其在文本生成能力上的显著改进。

    Feb, 2023

  • 渐进式蒸馏：用于快速采样扩散模型

    通过新的参数化方法和扩散模型的渐进提炼过程，从而在不降低感知质量的前提下将采样步骤尽量减少到四步，从而提高了采样效率，并为生成建模提供了高效的解决方案。

    Feb, 2022

  • 扩散模型能否在文本生成中实现更好性能？在训练和推断之间的桥梁！

    本研究介绍了扩散模型在文本生成任务中的应用，并提出了两种桥接训练和推理之间差异的方法，分别为 “距离惩罚” 和 “自适应衰减采样”，实验证明这两种方法能够在保证性能的情况下加速 100 倍至 200 倍。

    May, 2023

  • 语言生成的潜在扩散

    该研究论文讨论了扩散模型在离散领域（如语言）的应用，提出将扩散模型作为基于预训练语言模型的生成算法的辅助方法，并通过在预训练的编码器 - 解码器模型的潜在空间中学习连续的潜在扩散模型，演示了其在从数据分布中生成文本方面的有效性。最终提出的潜在扩散模型不仅在生成新颖文本方面优于强有力的自回归基线，还支持可控的生成。

    Dec, 2022

  • 改善和统一的离散和连续时间离散去噪扩散

    提出了一种用于简化离散扩散的数学简化方案，同时还提出了一种能够精确和加速采样的简单公式，并通过创建一个统一的模型，简化离散扩散的前向和后向概率计算，取得了在现有数据集上优于其他方法的效果。

    Feb, 2024

  • 超越 U：打造更快速、更轻量级的扩散模型

    利用连续动力系统设计一种新型去噪网络，以提高扩散模型的参数效率、收敛速度和噪声鲁棒性。与基准模型相比，该模型具有约四分之一的参数量和百分之三十的浮点操作数（FLOPs），推理速度提高了 70％，并且收敛到了更好的质量解。

    Oct, 2023

  • 图生成的离散状态连续时间扩散

    本文提出了一种离散状态连续时间设置的图扩散生成模型，该模型在以前的图扩散模型中从未被研究过。分析表明，我们的训练目标与生成质量密切相关，我们提出的生成框架在节点排序的排列方面具有理想的不变 / 等变特性。我们的模型在各种基准测试中表现出有竞争力的实证性能，同时在采样阶段可以在生成质量和效率之间灵活权衡。

    May, 2024

  • 扩散随机特征模型

    我们提出了一种受扩散模型启发的深度随机特征模型，它具有可解释性，并给出了与具有相同可训练参数数量的全连接神经网络相当的数值结果。我们通过对采样数据分布和真实分布之间的得分匹配性质的属性来推导了随机特征的泛化界限，并通过在时尚 MNIST 数据集和乐器音频数据上生成样本来验证我们的发现。

    Oct, 2023

  • 关于扩散概率模型的快速采样

    FastDPM 是一种用于快速抽样扩散概率模型的统一框架，通过在不同领域、不同数据集上系统地研究该框架下的快速抽样方法，探讨了特定方法在不同数据领域、抽样速度与质量权衡以及条件信息的数量上的性能差异，并为从业者提供了选择方法的洞见和配方。

    May, 2021

  • 通过结构化偏好生成改进离散扩散模型

    通过引入结构化的前向过程，改进离散扩散模型，提高对离散数据类型的生成性能。

    May, 2024