AAAIDec, 2021

搜索与学习：改进数据到文本生成的语义涵盖率

PDF
TL;DR该论文提出一种搜索和学习的方法来解决低语义覆盖率问题，进而提高 data-to-text 生成中预训练语言模型的效率，并在 E2E 和 WikiBio 数据集上实现了高性能。
data-to-text generationfew-shot learningpretrained language modelssemantic coverageinference efficiency
发现论文，激发创造
  • 数据到文本生成的端到端内容和计划选择

    本文介绍了多种扩展序列 - 序列模型的方法，旨在解决从结构化数据中生成流畅自然语言的问题，特别关注潜在内容选择过程的变体，包括复制注意力和覆盖解码。我们提出了一种基于多样集成的训练方法，以鼓励模型在训练过程中学习不同的句子模板，并通过比较其生成的文本在五个自动度量标准和人类评估中的结果，表明这些技术可以提高生成文本的质量。

    Oct, 2018

  • 统一表示与多源学习实现的少样本数据生成文本

    我们提出了一种新颖的结构化数据到文本生成方法，旨在改善多任务训练、零样本和少样本情况下的性能，并提供可以处理各种形式的结构化数据的统一表示，例如表格、知识图谱三元组和意义表示。我们证明了我们提出的方法可以有效适应新的结构化形式，并在性能上优于当前的方法。

    Aug, 2023

  • 迭代文本编辑的数据生成

    本研究提出了一种基于迭代文本编辑的数据到文本生成新方法，使用两个先前训练模型 LaserTagger 和 GPT-2，并通过简单的启发式筛选和已训练语言模型对输出进行筛选和重新排序。

    Nov, 2020

  • 基于 LM 的文本增强的神经数据到文本生成

    通过少量文本样本的文本增强和使用循环一致性作为目标实现弱监督训练范式在数据到文本生成中的有效性。

    Feb, 2021

  • 基于小型数据集的神经数据 - 文本生成：在大型语言模型之上比较两种半监督学习方法的附加值

    本研究探讨了半监督学习与预训练语言模型在数据生成文本方面的效果。结果表明，半监督学习方法可以增强输出质量和多样性，即使已经使用了预训练语言模型。

    Jul, 2022

  • 实体建模的数据生成

    该论文介绍了一种以实体为中心的神经体系结构，用于生成数据到文本的任务，并通过在 RotoWire 基准和棒球领域的新数据集上进行的实验，表明该模型在自动和人类评估上优于竞争基线。

    Jun, 2019

  • 数据到文本自动选择、跟踪和生成学习

    本文提出一种数据到文本生成模型，包含追踪模块和文本生成模块，能模拟人类的写作过程，在不需要作者信息的情况下就能在所有的评估度量中表现优异，结合作者信息可以进一步提高性能。

    Jul, 2019

  • 内容选择与规划的数据转文本生成

    本文提出了一种神经网络体系结构，它在不牺牲端到端训练的前提下，结合了内容选择和计划，通过将生成任务分解为两个阶段，根据数据记录生成内容计划并生成文档，在自动化和人类试验中都取得了优越表现，从而提高了最近发布的 RotoWire 数据集的最新技术。

    Sep, 2018

  • 预训练语言模型用于简短文本自然语言生成

    该文提出了少样本自然语言生成（Few-shot natural language generation）任务，设计了基于内容选择和语言建模的模型架构，表现良好。

    Apr, 2019

  • 在数据稀缺的约束下，在人工参与机制下的医学科学表格自动生成文本

    本文提出了一种新的基于表格到文本的方法，通过自我纠正、复制机制和合成数据增量，增强了该方法的性能。实验证明，该方法选择了显著的生物医学实体和值，以生成相关的文本，同时我们还演示了该系统对新数据集的轻量级适应。人工验证表明，该模型的输出是准确和可靠的。

    May, 2022