EMNLPOct, 2020

PAIR：基于预训练 Transformer 的长文本规划和迭代细化

PDF
TL;DR本文介绍了一种基于预训练转换器的内容控制型文本生成框架 ——PAIR。该框架采用了规划和迭代改进策略，并通过 BART 模型实现了生成。采用自动评估方法得分表明，添加规划可显著提高文本生成的质量，同时人工评估结果表明，PAIR 系统的生成结果相对于没有规划的对比组更加相关和连贯。
pre-trained transformerscontent-controlled text generationbart modelrefinement algorithmautomatic metrics
发现论文，激发创造
  • PLANET: 自回归变压器中动态内容规划用于长篇文本生成

    本文提出了 PLANET 框架，采用自回归自注意机制，结合包含词汇的句子级语义计划来动态地进行内容规划和表面实现。引入基于连贯性的对比学习目标，以进一步提高输出的连贯性。实验结果表明，我们的方法在生成较富内容的连贯文本方面优于基线方法。

    Mar, 2022

  • 基于内容计划的即插即用食谱生成

    本文提出了一种低成本但有效的框架，该框架以插拔的方式显式地对生成文本的全局内容计划建模，并证明其在食谱生成任务上实现了最新的技术性能，从而解决了当前受长期存在的多句文本生成问题。

    Dec, 2022

  • 内容选择与规划的数据转文本生成

    本文提出了一种神经网络体系结构，它在不牺牲端到端训练的前提下，结合了内容选择和计划，通过将生成任务分解为两个阶段，根据数据记录生成内容计划并生成文档，在自动化和人类试验中都取得了优越表现，从而提高了最近发布的 RotoWire 数据集的最新技术。

    Sep, 2018

  • 基于计划的神经数据到文本生成的质量和效率提升

    本文从 Moryossef et al （2019）所提出的步骤式神经数据到文本生成方法出发，通过引入可训练的神经计划组件、打字提示、排序确认阶段和简单而有效的指代表达式生成模块的四个扩展，实现了一个更快，更流畅和更准确的生成过程。

    Sep, 2019

  • 预训练语言模型渐进式生成长文本

    该论文提出了一种通过逐步完善领域特定的关键词，并在多个阶段逐步把它们转换为完整段落生成文本的简单而有效的方法，该方法利用了预先训练的大规模语言模型，在质量和样本效率方面显着优于仅仅在小语料库上微调的大型语言模型和其他规划 - 生成方法。

    Jun, 2020

  • 变分序列计划数据生成技术

    本论文考虑数据到文本生成的任务，着重提出了一种生成长篇文章的神经模型，增加了计划组件来组织高层次信息，在结构化变分模型的帮助下逐步推理出潜在计划，从而生成文本。在 RotoWire 和 MLB 两个数据到文本基准测试中，本模型表现优于基准模型，并且在训练数据有限的情况下具有较高的样本效率。

    Feb, 2022

  • 逐步：在神经数据到文本生成中分离规划和实现

    将数据转文本生成过程拆分为符号文本计划和神经生成两个阶段，通过匹配参考文本和选择高质量文本计划提高系统的可靠性和适用性，同时保持流畅的输出。在 WebNLG 基准测试中得到了 BLEU 得分和人工评估的改善，并能够输出同一输入的多种不同的实现，为生成文本结构的显式控制铺平了道路。

    Apr, 2019

  • 使用 BART 进行词汇约束文本生成的并行微调

    本文介绍了一种利用 Constrained BART 的方式进行词汇约束文本生成，并通过将任务分为两个子任务，将生成的负担从解码器转移到编码器，从而提高了句子质量和生成效率。实验结果表明，CBART 能够生成高质量和多样性的文本，同时显著加速推断。

    Sep, 2021

  • DiPair：用于万亿级文本匹配和成对建模的快速准确蒸馏

    本研究提出了一种用于知识蒸馏的新框架 DiPair，用于在文本配对任务中训练快速和精确的模型，实验表明它在大幅提高速度（超过 350 倍）的同时，相对于 BERT 模型只有微小的质量损失。

    Oct, 2020

  • 计划 - 生成：通过计划控制数据到文本的生成

    本研究提出了一种 Plan-then-Generate（PlanGen）框架，以改善神经数据生成文本模型的可控性，并通过两个基准数据集 ToTTo 和 WebNLG 进行了广泛的实验和分析，结果显示，我们的模型能够控制生成输出的句内和句间结构，而且与先前的最先进方法进行了实证比较，显示出我们的模型提高了生成质量以及人机评估的输出多样性。

    Aug, 2021