Dec, 2022

SeqDiffuSeq：带有编码器 - 解码器变压器的文本扩散

PDF
TL;DR本文研究使用扩散模型（diffusion model）来处理序列到序列文本生成问题，探讨扩散模型的优越生成性能是否可转移到自然语言领域。提出 SeqDiffuSeq，一种使用自适应噪声调度技术的文本扩散模型，结合自编码器变压器（encoder-decoder Transformers）架构，实现去噪声函数建模，通过实验得出扩散模型在文本生成的质量和推理时间方面都表现良好。
diffusion modelnatural language processingsequence-to-sequence text generationdenoising functionadaptive noise schedule
发现论文，激发创造
  • DiffuSeq：使用扩散模型进行序列到序列的文本生成

    通过使用 DiffuSeq，我们设计了一种扩散模型，可用于序列到序列文本生成任务，具有与预训练语言模型等六种基线相比甚至更好的性能和高多样性。我们还包括理论分析，揭示 DiffuSeq 和自回归 / 非自回归模型之间的连接，并展示了扩散模型在复杂条件语言生成任务中的巨大潜力。

    Oct, 2022

  • DiffuSeq-v2：连接离散和连续文本空间以加速 Seq2Seq 扩散模型

    在这篇论文中，我们介绍了一种软吸收状态，它有助于扩展扩散模型学习基于高斯空间的离散突变重构，从而增强其恢复条件信号的能力。在采样阶段，我们使用最先进的 ODE 求解器在连续空间中加快采样过程。全面的实验评估显示，我们提出的方法通过 4 倍加速了训练收敛速度，并且以 800 倍更快的速度生成类似质量的样本，使其更接近实际应用。

    Oct, 2023

  • DiffusER: 通过基于编辑的重构实现离散扩散

    DiffusER 是一种基于编辑的生成模型，它能利用去噪扩散模型生成数据，并允许用户在原型或不完整序列上进行连续的修订，超越自回归模型在机器翻译、摘要、风格转换等任务上表现出色。

    Oct, 2022

  • Diff-TTS: 一种文本到语音去噪扩散模型

    本文介绍了一种新型非自回归 TTS 模型 Diff-TTS，以噪声信号与扩散时间步长探索去噪扩散框架，同时引入基于可能性的 TTS 优化方法，利用加速采样方法提高波形合成速度，实验证明 Diff-TTS 单独搭载一枚 NVIDIA 2080Ti 显卡比实时生成快 28 倍，并且质量良好。

    Apr, 2021

  • 文本生成的自条件嵌入扩散

    本研究提出了自条件嵌入扩散 (Self-conditioned Embedding Diffusion)，这是一种在令牌嵌入上运行的连续扩散机制，可以学习灵活和可扩展的扩散模型，用于条件和非条件文本生成。通过定性和定量评估，我们表明，我们的文本扩散模型生成的样本与标准自回归语言模型生成的样本相当，而在推断时间上在加速器硬件上更为高效。该研究为在文本方面扩大扩散模型的规模，类似于自回归模型，并通过对连续扩散的最新改进来提高性能铺平了道路。

    Nov, 2022

  • 强化条件下的文本扩散

    通过分析文本扩散模型的限制，本文提出了一种名为 TREC 的新型文本扩散模型，通过强化条件和时间感知方差缩放来减轻语言离散性问题，在与自回归、非自回归和扩散基线的对比实验中展示了 TREC 的竞争力，并通过定性分析显示其在优化样本中充分利用扩散过程的先进能力。

    Feb, 2024

  • TransFusion: 用多项式扩散转录语音

    本文旨在探究扩散模型用于语音识别的潜在性，提出了以预训练的语音特征为条件的扩散模型 TransFusion，并通过 LibriSpeech 语音识别基准测试展示了与现有高性能反差模型可比的性能。同时，我们提出了有效采样和译码多项式扩散模型的新技术。

    Oct, 2022

  • TEncDM：理解语言模型编码空间中扩散模型的属性

    本文介绍了一种名为 TEncDM（Text Encoding Diffusion Model）的新方法，通过在语言模型编码空间中训练模型，使用基于 Transformer 的解码器和自条件机制，实现了文本生成任务中优于现有非自回归模型的效果。

    Feb, 2024

  • Difformer：在嵌入空间上增强扩散模型以进行文本生成

    本文分析了连续数据空间和嵌入空间之间的挑战并提出 Difformer，一种基于 Transformer 的嵌入式扩散模型，通过实验表明它在机器翻译和文本摘要等任务中优于其他扩散基准模型。

    Dec, 2022

  • TextCraftor: 您的文本编码器可以成为图像质量控制器

    通过提出的 fine-tuning 方法 TextCraftor，我们可以增强 Stable Diffusion 使用的 CLIP 文本编码器，从而在定量基准和人类评估方面实现了显著改进，并且我们的技术还通过不同奖励的细调文本编码器的插值使得可以进行可控的图像生成，同时我们也证明了 TextCraftor 与 UNet finetuning 可以相互独立并且结合以进一步提高生成质量。

    Mar, 2024