Jun, 2023

利用潜在语言扩散模型生成多样化段落的规划器

PDF
TL;DR本文提出了组合自回归生成模型与潜在语义扩散的 PLANNER 模型用于全局控制段落文本生成，并在各种条件生成任务上进行了评估。结果表明，该方法有效地生成了高质量的长篇文本。
autoregressive modelsexposure biasdenoising diffusion modelslatent semantic diffusionparagraph generation
发现论文，激发创造
  • 非自回归文本生成的扩散模型：一项调查

    本文系统介绍了最新的扩散模型在 NAR（非自回归）文本生成领域中的进展，重点介绍了扩散模型的核心设计、预训练语言模型的应用，以及优化技术等。该综述旨在为研究人员提供一个有关文本扩散模型的系统参考。

    Mar, 2023

  • AR-Diffusion: 自回归扩散模型用于文本生成

    介绍了一种新的生成文本的方法 - 自回归扩散 (AR-Diffusion)，它通过引入动态去噪步骤来解决自然语言中的顺序依赖问题，在各种文本生成任务中表现优异。

    May, 2023

  • 语言生成的潜在扩散

    该研究论文讨论了扩散模型在离散领域（如语言）的应用，提出将扩散模型作为基于预训练语言模型的生成算法的辅助方法，并通过在预训练的编码器 - 解码器模型的潜在空间中学习连续的潜在扩散模型，演示了其在从数据分布中生成文本方面的有效性。最终提出的潜在扩散模型不仅在生成新颖文本方面优于强有力的自回归基线，还支持可控的生成。

    Dec, 2022

  • 通过可控潜在扩散实现同义重述生成的强制执行

    本文提出一种名为 LDP 的新型模型，即 extit {L} atent extit {D} iffusion extit {P} araphraser，用于生成改写句，通过建模可控的扩散过程，并在学习到的潜在空间中实现了更高的生成效率和改写质量，它仅使用输入片段以确保改写语义，并不需要外部特征，在实验中显示 LDP 相较于基线方法，实现了改进和多样的改写生成，并对其他类似文本生成和领域适应的任务也具有帮助。

    Apr, 2024

  • 通过建模远期来提升对抗文本生成

    我们考虑一个文本规划方案，提出了一种基于模型的模仿学习方法，其中包括新颖的指导网络来关注更长时间内的生成过程，改善了局部流畅性和一致语义的问题，并带来了性能上的提升。

    May, 2020

  • PLANET: 自回归变压器中动态内容规划用于长篇文本生成

    本文提出了 PLANET 框架，采用自回归自注意机制，结合包含词汇的句子级语义计划来动态地进行内容规划和表面实现。引入基于连贯性的对比学习目标，以进一步提高输出的连贯性。实验结果表明，我们的方法在生成较富内容的连贯文本方面优于基线方法。

    Mar, 2022

  • SSD-LM: 基于 Simplex 扩散和半自回归的语言模型，用于文本生成和模块化控制

    本论文介绍了 SSD-LM - 一种扩散语言模型，它是半自回归的，可以迭代地生成文本块，在不适用 GPT-2 后，它在标准的质量和多样性指标上与 strong autoregressive 基线匹配或优于其性能

    Oct, 2022

  • LaDiC：扩散模型在图像生成的文本方面真的不如自回归模型吗？

    Diffusion models have the potential for enhancing image-to-text generation and surpass Auto-Regressive models by introducing LaDiC, which incorporates context modeling, a dedicated latent space for captions, a regularization module, a diffuser for semantic conversion, and a Back&Refine technique, achieving state-of-the-art performance on the MS COCO dataset without pre-training or ancillary modules.

    Apr, 2024

  • 基于似然的扩散语言模型

    该研究基于算法改进和计算资源扩展来提升扩散式语言模型，成功构建了一款表现优于已有模型的大规模扩散语言模型 Plaid 1B。

    May, 2023

  • 扩散语言建模的承诺、展望与挑战

    现代自回归型大型语言模型在自然语言处理基准测试中表现出色并应用于实际领域。然而，它们仍然受到自回归训练范式的一些限制。本文评估了最近提出的基于得分熵离散扩散 (SEDD) 的方法，并表明它是自回归生成的有希望的替代方案，但也存在一些不足之处。我们实证地展示了 SEDD 的优势和挑战，并观察到 SEDD 在困惑度和 HellaSwag、Arc 或 WinoGrande 等基准测试上一般与自回归模型相匹配。此外，我们还展示了 SEDD 在推理延迟方面比 GPT-2 高效多达 4.5 倍。虽然 SEDD 允许在任意位置上进行条件生成，但在给定短提示的条件生成方面，SEDD 似乎比 GPT-2 稍逊一筹。最后，我们复现了原始 SEDD 论文的主要结果。

    Jun, 2024