ACLFeb, 2024

TEncDM：理解语言模型编码空间中扩散模型的属性

PDF
TL;DR本文介绍了一种名为 TEncDM（Text Encoding Diffusion Model）的新方法，通过在语言模型编码空间中训练模型，使用基于 Transformer 的解码器和自条件机制，实现了文本生成任务中优于现有非自回归模型的效果。
diffusion modelstext datatext encoding diffusion modellanguage model encodingsnon-autoregressive models
发现论文，激发创造
  • 文本生成的自条件嵌入扩散

    本研究提出了自条件嵌入扩散 (Self-conditioned Embedding Diffusion)，这是一种在令牌嵌入上运行的连续扩散机制，可以学习灵活和可扩展的扩散模型，用于条件和非条件文本生成。通过定性和定量评估，我们表明，我们的文本扩散模型生成的样本与标准自回归语言模型生成的样本相当，而在推断时间上在加速器硬件上更为高效。该研究为在文本方面扩大扩散模型的规模，类似于自回归模型，并通过对连续扩散的最新改进来提高性能铺平了道路。

    Nov, 2022

  • 强化条件下的文本扩散

    通过分析文本扩散模型的限制，本文提出了一种名为 TREC 的新型文本扩散模型，通过强化条件和时间感知方差缩放来减轻语言离散性问题，在与自回归、非自回归和扩散基线的对比实验中展示了 TREC 的竞争力，并通过定性分析显示其在优化样本中充分利用扩散过程的先进能力。

    Feb, 2024

  • 语言生成的潜在扩散

    该研究论文讨论了扩散模型在离散领域（如语言）的应用，提出将扩散模型作为基于预训练语言模型的生成算法的辅助方法，并通过在预训练的编码器 - 解码器模型的潜在空间中学习连续的潜在扩散模型，演示了其在从数据分布中生成文本方面的有效性。最终提出的潜在扩散模型不仅在生成新颖文本方面优于强有力的自回归基线，还支持可控的生成。

    Dec, 2022

  • TESS: 文本到文本自条件简单扩散

    本文提出了全非自回归文本扩散模型 Text-to-text Self-conditioned Simplex Diffusion (TESS)，将扩散过程应用于逻辑回归空间，具有新形式的自我条件和完全非自回归的特点。在包括摘要、文本简化、释义生成和问题生成在内的自然语言理解和生成任务中，我们证明了 TESS 胜过最先进的非自回归模型，并具有与预训练的自回归序列到序列模型竞争的能力。

    May, 2023

  • DeTiME: 基于编码器 - 解码器的扩散增强主题建模

    Diffusion-Enhanced Topic Modeling using Encoder-Decoder-based LLMs (DeTiME) leverages LLMs to produce clusterable embeddings and generate highly clustered topics with relevant content, showcasing efficiency and adaptability.

    Oct, 2023

  • SeqDiffuSeq：带有编码器 - 解码器变压器的文本扩散

    本文研究使用扩散模型（diffusion model）来处理序列到序列文本生成问题，探讨扩散模型的优越生成性能是否可转移到自然语言领域。提出 SeqDiffuSeq，一种使用自适应噪声调度技术的文本扩散模型，结合自编码器变压器（encoder-decoder Transformers）架构，实现去噪声函数建模，通过实验得出扩散模型在文本生成的质量和推理时间方面都表现良好。

    Dec, 2022

  • 去扩散使文本成为强大的跨模态接口

    我们展示了一种以文本作为强大的跨模态接口的方法，通过将图像表示为文本，利用自然语言的可解释性和灵活性，我们使用一个自动编码器，将输入图像转换为文本，并通过固定的文本到图像扩散解码器进行重构，该过程称为 De-Diffusion。实验证实了 De-Diffusion 文本表示图像的精确性和综合性，使其可以轻松地被一般的文本到图像工具和 LLMs 接收，并可用于多样化的多模态任务。

    Nov, 2023

  • 基于文本引导的扩散模型的有趣性质

    本文发现了 TDMs 的四个特性，并提出了一种名为 SAGE 的对抗攻击方法，用于发现 TDMs 的意外行为和失效情况。

    Jun, 2023

  • 基于扩散的文本转语音模型的语义潜空间

    在语音合成领域中，噪声扩散模型（Denoising Diffusion Models，DDMs）的整合应用日益增多。尽管其音频质量出色，但其语义能力的程度未知，并且控制其合成语音的音色属性仍然具有挑战性。受到图像合成的最新进展的启发，我们探索了冻结 TTS 模型的潜在空间，该空间由 DDM 的降噪器的潜在瓶颈激活组成。我们发现这个空间包含丰富的语义信息，并提出了一些新方法来在其中找到语义方向，包括有监督和无监督的方法。然后，我们演示了如何利用这些方法进行即插即用的音频编辑，无需进一步训练、架构更改或数据要求。我们提供了编辑音频的语义和声学质量的证据，并提供了补充样本：[链接]。

    Feb, 2024

  • 基于条件扩散模型和语言模型的最小监督语音合成：语义编码的比较研究

    通过结合两种离散语音表示形式并使用两个序列到序列任务解耦合 TTS，最近在对可以以最低限度的监督进行训练的 TTS 方法中产生了越来越大的兴趣。我们提出了 Diff-LM-Speech，它在扩散模型的基础上将语义嵌入建模为基于 mel-spectrogram，并引入了基于变分自动编码器和韵律瓶颈的提示编码结构，以提高提示表示能力。我们还提出了 Tetra-Diff-Speech，通过设计一个持续时间扩散模型来实现多样化的韵律表达。同时，我们提出了 Tri-Diff-Speech 来验证语义编码的必要性。实验结果表明，我们的方法优于基准方法。我们提供了一个包含音频样本的网站。

    Jul, 2023