COLINGAug, 2022

控制前缀的少样本表格转文本生成器

PDF
TL;DR本文提出了一种前缀控制生成器 (Prefix-Controlled Generator) 的方法，应用于神经表格文本生成中的少样本学习问题，该方法使用预训练语言模型，并在输入处加入特定前缀以更好地适应表格结构，同时通过输入特定前缀控制生成的文本的内容和单词顺序，基于 Wikibio 数据集的人类、书籍和歌曲等不同领域的自动和人工评估结果均表明，该方法相对于基线方法取得了实质性的改进。
neural table-to-text generationpre-trained language modelsfew-shot learningprefix-controlled generatorwikibio dataset
发现论文，激发创造
  • 带有提示计划和知识记忆的少样本数据表格转文本生成

    本论文提出 PromptMize 框架，通过 prompt signal 和 knowledge adapter 对 pre-trained language models 进行 few-shot table-to-text generation。实验结果表明较之前的方法有极大优势。

    Feb, 2023

  • 基于提示的少样本表格文本生成适配器

    本文介绍了一种基于 Prompt-based Adapter (PA) 的方法，通过注入 prompt 模板对特定领域的知识和表格相关的表示进行数据增强，从而在少量样本情况下实现表格到文本的生成任务。相比之前的方法，在 Humans、Books 和 Songs 等三个数据集上，此方法表现更好。

    Feb, 2023

  • 原型记忆的少样本表格到文本生成

    提出了新的框架：Prototype-to-Generate（P2G），旨在通过使用检索的原型来提高神经表生成文本模型在少样本场景下的性能，并利用 IR 系统和新型原型选择器共同选择原型以帮助模型弥合表格和文本之间的结构差距。在三个基准数据集上进行的实验结果表明，该文所提出的框架显著提高了各种评估指标的模型性能。

    Aug, 2021

  • 文本生成的转移提示学习

    本文提出一种基于提示的文本生成方法（PTG），采用预训练语言模型，在面对数据匮乏的情况下通过学习一组源提示并将其转移为目标提示执行目标生成任务，设计了一个自适应注意机制以得出目标提示，实验结果表明 PTG 针对多个任务产生了有竞争力的结果，源提示已开放并可用于未来研究。

    May, 2022

  • 基于 Transformer 预训练语言模型的可控文本生成综述

    本文系统评述了基于预训练语言模型的可控文本生成技术的主要任务、方法和评价方法，并讨论了当前领域面临的挑战和未来研究方向。

    Jan, 2022

  • 具有对比前缀的可控自然语言生成

    提出了一种新颖的轻量级的 GPT2 生成框架，该框架利用一组小的属性特定向量，称为前缀，来控制自然语言生成，其中前缀使用多方面控制的监督方法和无监督方法进行训练，实验结果表明，我们的方法可以引导生成达到期望的特性，同时保持高水平的语言质量。

    Feb, 2022

  • Facts2Story：通过关键事实控制文本生成

    该研究提出了一个基于自然语言的控制生成任务，可将一系列事实扩展为更长的叙述，并通过引入人类评估指标和大型训练数据集的方法评估了三种方法，证明了自回归的单向语言模型如 GPT2 的生成流畅度更好，但很难遵循所请求的事实，提出了一个基于计划和填空模型的解决方案（使用精细调整的 XLNet），其生成流畅度有竞争力，同时遵循所请求的内容。

    Dec, 2020

  • 序列控制文本生成

    本文研究 GPT-2 在生成长度较长的文档时缺乏结构性的问题，提出了一种新的控制文本生成任务 — 顺序控制文本生成，并确定了一个数据集 NewsDiscourse 作为该任务的起点。通过测试不同程度的结构意识，表明具有更高的结构意识可以提高控制准确性、语法合理性、连贯性和主题性，并接近于人类的写作业绩。

    Jan, 2023

  • 计划 - 生成：通过计划控制数据到文本的生成

    本研究提出了一种 Plan-then-Generate（PlanGen）框架，以改善神经数据生成文本模型的可控性，并通过两个基准数据集 ToTTo 和 WebNLG 进行了广泛的实验和分析，结果显示，我们的模型能够控制生成输出的句内和句间结构，而且与先前的最先进方法进行了实证比较，显示出我们的模型提高了生成质量以及人机评估的输出多样性。

    Aug, 2021

  • 在数据稀缺的约束下，在人工参与机制下的医学科学表格自动生成文本

    本文提出了一种新的基于表格到文本的方法，通过自我纠正、复制机制和合成数据增量，增强了该方法的性能。实验证明，该方法选择了显著的生物医学实体和值，以生成相关的文本，同时我们还演示了该系统对新数据集的轻量级适应。人工验证表明，该模型的输出是准确和可靠的。

    May, 2022