该研究论文讨论了扩散模型在离散领域（如语言）的应用，提出将扩散模型作为基于预训练语言模型的生成算法的辅助方法，并通过在预训练的编码器 - 解码器模型的潜在空间中学习连续的潜在扩散模型，演示了其在从数据分布中生成文本方面的有效性。最终提出的潜在扩散模型不仅在生成新颖文本方面优于强有力的自回归基线，还支持可控的生成。
Dec, 2022
通过镜像扩散模型 (Mirror Diffusion Models, MDMs) 向离散分类数据应用镜像 Langevin 算法，本文提出了对连续域进行解释的一种理论框架，并在图像和文本生成等领域进行了实证研究。
Aug, 2023
本文提出了一种离散状态连续时间设置的图扩散生成模型，该模型在以前的图扩散模型中从未被研究过。分析表明，我们的训练目标与生成质量密切相关，我们提出的生成框架在节点排序的排列方面具有理想的不变 / 等变特性。我们的模型在各种基准测试中表现出有竞争力的实证性能，同时在采样阶段可以在生成质量和效率之间灵活权衡。
May, 2024
通过结合评分匹配和评分插值，我们在这篇论文中提出了一种针对混合类型表格数据的得分生成模型。模型考虑了特征异质性，并允许自适应、可学习的噪声调度以提高样本质量。实验结果表明，我们的模型在质量上始终优于最先进的基准模型，并且噪声调度设计中的异质性考虑提升了样本质量。
Dec, 2023
介绍了一种新的语言建模扩散模型 Masked-Diffuse LM，通过语言学特征和软掩蔽添加文本失真，通过交叉熵损失函数在每个扩散步骤中直接预测分类分布，以更高效和直接的方式连接连续空间和离散空间，优于目前最先进的扩散模型。
Apr, 2023
本文旨在提出一种去中心化的扩散语言模型（DDLM），该模型基于连续性扩散的范畴数据（CDCD）框架，使用 C4 数据集进行简化的培训过程，并提出一种新颖的早期退出策略，通过 GLUE 基准研究 DDLM 的知识转移能力。
May, 2023
通过引入结构化的前向过程，改进离散扩散模型，提高对离散数据类型的生成性能。
提出了一种用于简化离散扩散的数学简化方案，同时还提出了一种能够精确和加速采样的简单公式，并通过创建一个统一的模型，简化离散扩散的前向和后向概率计算，取得了在现有数据集上优于其他方法的效果。
Feb, 2024
本研究提出了自条件嵌入扩散 (Self-conditioned Embedding Diffusion)，这是一种在令牌嵌入上运行的连续扩散机制，可以学习灵活和可扩展的扩散模型，用于条件和非条件文本生成。通过定性和定量评估，我们表明，我们的文本扩散模型生成的样本与标准自回归语言模型生成的样本相当，而在推断时间上在加速器硬件上更为高效。该研究为在文本方面扩大扩散模型的规模，类似于自回归模型，并通过对连续扩散的最新改进来提高性能铺平了道路。
Nov, 2022
通过提出一种新颖的去随机扩散过程，我们加速了离散扩散模型的算法；我们还引入了一种连续时间采样算法，能够比有限步长的离散时间采样算法提供更好的样本质量。大量实验表明，在自然语言生成和机器翻译任务中，我们的方法在离散扩散模型的生成速度和样本质量方面表现出优越性。