本研究提出了自条件嵌入扩散 (Self-conditioned Embedding Diffusion)，这是一种在令牌嵌入上运行的连续扩散机制，可以学习灵活和可扩展的扩散模型，用于条件和非条件文本生成。通过定性和定量评估，我们表明，我们的文本扩散模型生成的样本与标准自回归语言模型生成的样本相当，而在推断时间上在加速器硬件上更为高效。该研究为在文本方面扩大扩散模型的规模，类似于自回归模型，并通过对连续扩散的最新改进来提高性能铺平了道路。

Nov, 2022

通过使用 DiffScaler，这篇论文提出了一种有效的扩展策略，使得单一预训练的扩散变压器模型能够快速适应不同的数据集，从而完成多样化的生成任务。

Apr, 2024

本文介绍了一种能量受限扩散模型，用于跨数据集批次地学习实例表示，通过相互作用逐渐并入其他实例的信息，以找到几何结构。研究结果表明，该模型可作为一种通用的编码器，在节点分类、图像 / 文本分类、时空动态预测等各种任务中表现出优越性能。

Jan, 2023

介绍了一种新的语言建模扩散模型 Masked-Diffuse LM，通过语言学特征和软掩蔽添加文本失真，通过交叉熵损失函数在每个扩散步骤中直接预测分类分布，以更高效和直接的方式连接连续空间和离散空间，优于目前最先进的扩散模型。

Apr, 2023

本研究介绍了扩散模型在文本生成任务中的应用，并提出了两种桥接训练和推理之间差异的方法，分别为 “距离惩罚” 和 “自适应衰减采样”，实验证明这两种方法能够在保证性能的情况下加速 100 倍至 200 倍。

May, 2023

本文研究使用扩散模型（diffusion model）来处理序列到序列文本生成问题，探讨扩散模型的优越生成性能是否可转移到自然语言领域。提出 SeqDiffuSeq，一种使用自适应噪声调度技术的文本扩散模型，结合自编码器变压器（encoder-decoder Transformers）架构，实现去噪声函数建模，通过实验得出扩散模型在文本生成的质量和推理时间方面都表现良好。

Dec, 2022

DiffusER 是一种基于编辑的生成模型，它能利用去噪扩散模型生成数据，并允许用户在原型或不完整序列上进行连续的修订，超越自回归模型在机器翻译、摘要、风格转换等任务上表现出色。

Oct, 2022

该研究论文讨论了扩散模型在离散领域（如语言）的应用，提出将扩散模型作为基于预训练语言模型的生成算法的辅助方法，并通过在预训练的编码器 - 解码器模型的潜在空间中学习连续的潜在扩散模型，演示了其在从数据分布中生成文本方面的有效性。最终提出的潜在扩散模型不仅在生成新颖文本方面优于强有力的自回归基线，还支持可控的生成。

Dec, 2022

使用三平面的三维感知扩散模型与 Transformer 架构，通过改善三维表示、处理几何和纹理的巨大变化、增强复杂对象的三维知识，提出一个能生成大量多样性、丰富语义以及高质量的真实世界三维对象的单一 DiffTF 模型，该模型在 ShapeNet 和 OmniObject3D 的广泛实验中表现出最先进的大量词汇三维对象生成性能。

Sep, 2023

通过使用语言模型进行布局规划，TextDiffuser-2 能够实现更合理的文本布局和具有增强多样性的生成。

Nov, 2023