EMNLPOct, 2023

信息扩散：对非自回归文本生成的信息熵感知扩散过程

PDF
TL;DR通过引入 “关键信息优先” 生成策略和基于文本信息量的噪声调度，结合自我条件限制和部分加噪模型结构，InfoDiffusion 在生成质量、多样性和采样效率等方面优于基准模型。
diffusion modelstext generationnamed entity recognitionsummarizationinfodiffusion
发现论文，激发创造
  • 非自回归文本生成的扩散模型：一项调查

    本文系统介绍了最新的扩散模型在 NAR（非自回归）文本生成领域中的进展，重点介绍了扩散模型的核心设计、预训练语言模型的应用，以及优化技术等。该综述旨在为研究人员提供一个有关文本扩散模型的系统参考。

    Mar, 2023

  • AR-Diffusion: 自回归扩散模型用于文本生成

    介绍了一种新的生成文本的方法 - 自回归扩散 (AR-Diffusion)，它通过引入动态去噪步骤来解决自然语言中的顺序依赖问题，在各种文本生成任务中表现优异。

    May, 2023

  • 信息扩散：使用信息最大化扩散模型的表示学习

    InfoDiffusion 增强了扩散模型，通过低维潜在变量捕捉数据中的高层次变化，从而获得高质量的样本并生成可操作的可解释潜在表示，具有生成设计等方面的潜在应用价值。

    Jun, 2023

  • 通过结构化偏好生成改进离散扩散模型

    通过引入结构化的前向过程，改进离散扩散模型，提高对离散数据类型的生成性能。

    May, 2024

  • 强化条件下的文本扩散

    通过分析文本扩散模型的限制，本文提出了一种名为 TREC 的新型文本扩散模型，通过强化条件和时间感知方差缩放来减轻语言离散性问题，在与自回归、非自回归和扩散基线的对比实验中展示了 TREC 的竞争力，并通过定性分析显示其在优化样本中充分利用扩散过程的先进能力。

    Feb, 2024

  • 扩散模型能否在文本生成中实现更好性能？在训练和推断之间的桥梁！

    本研究介绍了扩散模型在文本生成任务中的应用，并提出了两种桥接训练和推理之间差异的方法，分别为 “距离惩罚” 和 “自适应衰减采样”，实验证明这两种方法能够在保证性能的情况下加速 100 倍至 200 倍。

    May, 2023

  • TESS: 文本到文本自条件简单扩散

    本文提出了全非自回归文本扩散模型 Text-to-text Self-conditioned Simplex Diffusion (TESS)，将扩散过程应用于逻辑回归空间，具有新形式的自我条件和完全非自回归的特点。在包括摘要、文本简化、释义生成和问题生成在内的自然语言理解和生成任务中，我们证明了 TESS 胜过最先进的非自回归模型，并具有与预训练的自回归序列到序列模型竞争的能力。

    May, 2023

  • 一个重新参数化的离散扩散模型用于文本生成

    本研究使用离散扩散概率模型研究自然语言生成，提出了一种重新参数化离散扩散模型，并进行了大量实验以证明其在文本生成能力上的显著改进。

    Feb, 2023

  • 生成 AI 中的文本与图像扩散模型：一项调查

    本文综述了文本到图像扩散模型的发展现状及其在生成任务中的应用；此外，介绍了文本条件下图像合成、文本引导的创意生成和图像编辑，并探讨了当前的挑战和未来方向。

    Mar, 2023

  • Diff-TTS: 一种文本到语音去噪扩散模型

    本文介绍了一种新型非自回归 TTS 模型 Diff-TTS，以噪声信号与扩散时间步长探索去噪扩散框架，同时引入基于可能性的 TTS 优化方法，利用加速采样方法提高波形合成速度，实验证明 Diff-TTS 单独搭载一枚 NVIDIA 2080Ti 显卡比实时生成快 28 倍，并且质量良好。

    Apr, 2021