May, 2023

TESS: 文本到文本自条件简单扩散

PDF
TL;DR本文提出了全非自回归文本扩散模型 Text-to-text Self-conditioned Simplex Diffusion (TESS)，将扩散过程应用于逻辑回归空间，具有新形式的自我条件和完全非自回归的特点。在包括摘要、文本简化、释义生成和问题生成在内的自然语言理解和生成任务中，我们证明了 TESS 胜过最先进的非自回归模型，并具有与预训练的自回归序列到序列模型竞争的能力。
发现论文，激发创造
  • 强化条件下的文本扩散

    通过分析文本扩散模型的限制，本文提出了一种名为 TREC 的新型文本扩散模型，通过强化条件和时间感知方差缩放来减轻语言离散性问题，在与自回归、非自回归和扩散基线的对比实验中展示了 TREC 的竞争力，并通过定性分析显示其在优化样本中充分利用扩散过程的先进能力。

    Feb, 2024

  • 文本生成的自条件嵌入扩散

    本研究提出了自条件嵌入扩散 (Self-conditioned Embedding Diffusion)，这是一种在令牌嵌入上运行的连续扩散机制，可以学习灵活和可扩展的扩散模型，用于条件和非条件文本生成。通过定性和定量评估，我们表明，我们的文本扩散模型生成的样本与标准自回归语言模型生成的样本相当，而在推断时间上在加速器硬件上更为高效。该研究为在文本方面扩大扩散模型的规模，类似于自回归模型，并通过对连续扩散的最新改进来提高性能铺平了道路。

    Nov, 2022

  • SSD-LM: 基于 Simplex 扩散和半自回归的语言模型，用于文本生成和模块化控制

    本论文介绍了 SSD-LM - 一种扩散语言模型，它是半自回归的，可以迭代地生成文本块，在不适用 GPT-2 后，它在标准的质量和多样性指标上与 strong autoregressive 基线匹配或优于其性能

    Oct, 2022

  • DiffS2UT：一种保持语义的无文本直接语音翻译扩散模型

    通过在连续语音表示空间中应用向前扩散，同时在离散语音单位空间中应用向后扩散，我们提出了一种新的扩散模型，以此在扩散过程中保留了连续语音表示空间的语义结构，并整合了连续和离散扩散模型。在无文本直接语音翻译任务上进行了大量实验，该方法与计算密集型的自回归基线方法（平均 500 步骤）相比，具有显著较少的解码步骤（50 步骤），并获得了可比较的结果。

    Oct, 2023

  • 基于条件扩散模型和语言模型的最小监督语音合成：语义编码的比较研究

    通过结合两种离散语音表示形式并使用两个序列到序列任务解耦合 TTS，最近在对可以以最低限度的监督进行训练的 TTS 方法中产生了越来越大的兴趣。我们提出了 Diff-LM-Speech，它在扩散模型的基础上将语义嵌入建模为基于 mel-spectrogram，并引入了基于变分自动编码器和韵律瓶颈的提示编码结构，以提高提示表示能力。我们还提出了 Tetra-Diff-Speech，通过设计一个持续时间扩散模型来实现多样化的韵律表达。同时，我们提出了 Tri-Diff-Speech 来验证语义编码的必要性。实验结果表明，我们的方法优于基准方法。我们提供了一个包含音频样本的网站。

    Jul, 2023

  • Diff-TTS: 一种文本到语音去噪扩散模型

    本文介绍了一种新型非自回归 TTS 模型 Diff-TTS，以噪声信号与扩散时间步长探索去噪扩散框架，同时引入基于可能性的 TTS 优化方法，利用加速采样方法提高波形合成速度，实验证明 Diff-TTS 单独搭载一枚 NVIDIA 2080Ti 显卡比实时生成快 28 倍，并且质量良好。

    Apr, 2021

  • TEncDM：理解语言模型编码空间中扩散模型的属性

    本文介绍了一种名为 TEncDM（Text Encoding Diffusion Model）的新方法，通过在语言模型编码空间中训练模型，使用基于 Transformer 的解码器和自条件机制，实现了文本生成任务中优于现有非自回归模型的效果。

    Feb, 2024

  • 信息扩散：对非自回归文本生成的信息熵感知扩散过程

    通过引入 “关键信息优先” 生成策略和基于文本信息量的噪声调度，结合自我条件限制和部分加噪模型结构，InfoDiffusion 在生成质量、多样性和采样效率等方面优于基准模型。

    Oct, 2023

  • 生成 AI 中的文本与图像扩散模型：一项调查

    本文综述了文本到图像扩散模型的发展现状及其在生成任务中的应用；此外，介绍了文本条件下图像合成、文本引导的创意生成和图像编辑，并探讨了当前的挑战和未来方向。

    Mar, 2023

  • DiffuSeq：使用扩散模型进行序列到序列的文本生成

    通过使用 DiffuSeq，我们设计了一种扩散模型，可用于序列到序列文本生成任务，具有与预训练语言模型等六种基线相比甚至更好的性能和高多样性。我们还包括理论分析，揭示 DiffuSeq 和自回归 / 非自回归模型之间的连接，并展示了扩散模型在复杂条件语言生成任务中的巨大潜力。

    Oct, 2022