Dec, 2020

Facts2Story：通过关键事实控制文本生成

PDF
TL;DR该研究提出了一个基于自然语言的控制生成任务，可将一系列事实扩展为更长的叙述，并通过引入人类评估指标和大型训练数据集的方法评估了三种方法，证明了自回归的单向语言模型如 GPT2 的生成流畅度更好，但很难遵循所请求的事实，提出了一个基于计划和填空模型的解决方案（使用精细调整的 XLNet），其生成流畅度有竞争力，同时遵循所请求的内容。
self-attention neural networktext generationcontrolled generation taskhuman-based evaluation metricspre-trained models
发现论文，激发创造
  • 序列控制文本生成

    本文研究 GPT-2 在生成长度较长的文档时缺乏结构性的问题，提出了一种新的控制文本生成任务 — 顺序控制文本生成，并确定了一个数据集 NewsDiscourse 作为该任务的起点。通过测试不同程度的结构意识，表明具有更高的结构意识可以提高控制准确性、语法合理性、连贯性和主题性，并接近于人类的写作业绩。

    Jan, 2023

  • 面向开放域创造力和公平性的可控文本生成

    本文介绍了一些控制文本生成的方法以增强语言生成模型的创造力和公平性，包括层级生成和约束解码，并应用于故事、诗歌、比喻语言的创意生成，以及减少生成模型的社会偏见。

    Sep, 2022

  • 智能人工代理数据增强的可控文本生成

    通过文本生成技术，使用编码器 - 解码器生成模型来增加受训人工智能代理的训练数据，从而实现更快地开发新功能。该方法需要直接优化，适用于有限的数据，并明显优于以往的受控文本生成技术。此外，生成的数据用作外在意图分类任务的附加训练样本，增强了低资源情况下高达 5％绝对 f-score 性能的表现，证实了该方法的实用性。

    Oct, 2019

  • 计划 - 生成：通过计划控制数据到文本的生成

    本研究提出了一种 Plan-then-Generate（PlanGen）框架，以改善神经数据生成文本模型的可控性，并通过两个基准数据集 ToTTo 和 WebNLG 进行了广泛的实验和分析，结果显示，我们的模型能够控制生成输出的句内和句间结构，而且与先前的最先进方法进行了实证比较，显示出我们的模型提高了生成质量以及人机评估的输出多样性。

    Aug, 2021

  • MEGATRON-CNTRL：基于大规模语言模型的可控外部知识故事生成

    本文介绍了一个新的框架 MEGATRON-CNTRL，通过结合外部知识库，利用大规模语言模型实现生成文本的控制，并由关键字预测器，知识检索器，上下文知识排名器和条件文本生成器四个部分组成。实验结果表明，相较于之前的 ROC story 数据集，该模型生成更加流畅、一致、连贯且重复率低，差异性高的故事，使用新关键词进行控制后，人类评价结果表明 77.5% 的故事已经成功受到了控制。同时，由 124million 经验推广到 8.3billion 再次展示了大规模模型提高生成质量和控制性能的过程。

    Oct, 2020

  • 控制生成文本的发展

    本文旨在通过学习简化的语义分离潜在表示来生成和控制自然语言句子，同时通过变分自编码器和全局属性判别器的组合来建立新的神经生成模型。该模型具有可解释性和高效性，可以生成符合要求的具有各种属性的句子。量化评估验证了该模型的生成准确性。

    Mar, 2017

  • 增强事实性的语言模型用于开放式文本生成

    本研究针对大规模预训练的语言模型，设计测试集和度量标准以提高生成文本的事实准确性，提出了基于主题前缀和句子补全的事实增强训练方法，并提出了更适合提高准确性的采样算法。

    Jun, 2022

  • 通过建模远期来提升对抗文本生成

    我们考虑一个文本规划方案，提出了一种基于模型的模仿学习方法，其中包括新颖的指导网络来关注更长时间内的生成过程，改善了局部流畅性和一致语义的问题，并带来了性能上的提升。

    May, 2020

  • 人工智能协作生成自由文本解释的重新构架

    本文探讨利用人类书写的样例以几乎无监督的方式创作自由文本解释的任务，发现高质量的提示有助于提高语言模型的生成效果，同时人类研究表明 GPT-3 生成的解释在某些情况下能够胜过人工生成的解释；作者还结合 GPT-3 与学习自评价的筛选器对生成的解释进行过滤，结果表明这一方法能够实现较高水平的解释过滤。

    Dec, 2021

  • 预训练语言模型渐进式生成长文本

    该论文提出了一种通过逐步完善领域特定的关键词，并在多个阶段逐步把它们转换为完整段落生成文本的简单而有效的方法，该方法利用了预先训练的大规模语言模型，在质量和样本效率方面显着优于仅仅在小语料库上微调的大型语言模型和其他规划 - 生成方法。

    Jun, 2020