Mar, 2022

PLANET: 自回归变压器中动态内容规划用于长篇文本生成

PDF
TL;DR本文提出了 PLANET 框架，采用自回归自注意机制，结合包含词汇的句子级语义计划来动态地进行内容规划和表面实现。引入基于连贯性的对比学习目标，以进一步提高输出的连贯性。实验结果表明，我们的方法在生成较富内容的连贯文本方面优于基线方法。
pre-trained language modelslong-form text generationautoregressive self-attention mechanismcoherence-based contrastive learning objectivesemantic plans
发现论文，激发创造
  • 利用潜在语言扩散模型生成多样化段落的规划器

    本文提出了组合自回归生成模型与潜在语义扩散的 PLANNER 模型用于全局控制段落文本生成，并在各种条件生成任务上进行了评估。结果表明，该方法有效地生成了高质量的长篇文本。

    Jun, 2023

  • PAIR：基于预训练 Transformer 的长文本规划和迭代细化

    本文介绍了一种基于预训练转换器的内容控制型文本生成框架 ——PAIR。该框架采用了规划和迭代改进策略，并通过 BART 模型实现了生成。采用自动评估方法得分表明，添加规划可显著提高文本生成的质量，同时人工评估结果表明，PAIR 系统的生成结果相对于没有规划的对比组更加相关和连贯。

    Oct, 2020

  • 基于内容计划的即插即用食谱生成

    本文提出了一种低成本但有效的框架，该框架以插拔的方式显式地对生成文本的全局内容计划建模，并证明其在食谱生成任务上实现了最新的技术性能，从而解决了当前受长期存在的多句文本生成问题。

    Dec, 2022

  • 内容选择与规划的数据转文本生成

    本文提出了一种神经网络体系结构，它在不牺牲端到端训练的前提下，结合了内容选择和计划，通过将生成任务分解为两个阶段，根据数据记录生成内容计划并生成文档，在自动化和人类试验中都取得了优越表现，从而提高了最近发布的 RotoWire 数据集的最新技术。

    Sep, 2018

  • 通过建模远期来提升对抗文本生成

    我们考虑一个文本规划方案，提出了一种基于模型的模仿学习方法，其中包括新颖的指导网络来关注更长时间内的生成过程，改善了局部流畅性和一致语义的问题，并带来了性能上的提升。

    May, 2020

  • 数据到文本生成的端到端内容和计划选择

    本文介绍了多种扩展序列 - 序列模型的方法，旨在解决从结构化数据中生成流畅自然语言的问题，特别关注潜在内容选择过程的变体，包括复制注意力和覆盖解码。我们提出了一种基于多样集成的训练方法，以鼓励模型在训练过程中学习不同的句子模板，并通过比较其生成的文本在五个自动度量标准和人类评估中的结果，表明这些技术可以提高生成文本的质量。

    Oct, 2018

  • Facts2Story：通过关键事实控制文本生成

    该研究提出了一个基于自然语言的控制生成任务，可将一系列事实扩展为更长的叙述，并通过引入人类评估指标和大型训练数据集的方法评估了三种方法，证明了自回归的单向语言模型如 GPT2 的生成流畅度更好，但很难遵循所请求的事实，提出了一个基于计划和填空模型的解决方案（使用精细调整的 XLNet），其生成流畅度有竞争力，同时遵循所请求的内容。

    Dec, 2020

  • 计划 - 生成：通过计划控制数据到文本的生成

    本研究提出了一种 Plan-then-Generate（PlanGen）框架，以改善神经数据生成文本模型的可控性，并通过两个基准数据集 ToTTo 和 WebNLG 进行了广泛的实验和分析，结果显示，我们的模型能够控制生成输出的句内和句间结构，而且与先前的最先进方法进行了实证比较，显示出我们的模型提高了生成质量以及人机评估的输出多样性。

    Aug, 2021

  • 神经文本生成的句子级内容规划和风格规范

    通过端到端训练的两步生成模型，即首先由句子级内容规划器决定涵盖的关键词组和所需的语言风格，然后由表面实现解码器生成相关和连贯的文本，可以显著优于现有竞争模型，在 Reddit 的说服性论证、维基百科的正常和简单版本的段落生成以及科学文章的摘要生成等任务中得到验证。

    Sep, 2019

  • 预训练语言模型渐进式生成长文本

    该论文提出了一种通过逐步完善领域特定的关键词，并在多个阶段逐步把它们转换为完整段落生成文本的简单而有效的方法，该方法利用了预先训练的大规模语言模型，在质量和样本效率方面显着优于仅仅在小语料库上微调的大型语言模型和其他规划 - 生成方法。

    Jun, 2020