ACLJan, 2024

将结构化数据统一为图形以进行数据到文本预训练

PDF
TL;DR将各种结构化数据（如表格、键值数据、知识图谱）统一为图形格式，并将不同的数据转化为文本生成任务视为图形到文本生成任务。为了有效利用输入图形的结构信息，我们提出了一种结构增强的预训练方法，通过设计一种结构增强的 Transformer 来进行 D2T 生成。经过大量实验证明了我们模型的有效性。
data-to-text generationpre-trainingstructured datagraph-to-text generationtransformer
发现论文，激发创造
  • 多源学习用于数据生成文本和文本生成数据

    本研究论文介绍了一种利用多个非同源语料库进行数据到文本和文本到数据转换的方法，通过引入具有分离风格和内容变量的 VAE 模型来解决单一来源语料库限制的问题，实现了相同甚至更好性能的数据转换。

    Feb, 2023

  • 预训练语言模型中数据到文本生成的困难之处是什么？

    本文对预训练语言模型和自回归预训练语言模型在 DART 数据集上的 D2T 任务表现进行实证研究，考虑了任务数据量的大小，以及零样本和少样本学习以及模型微调等方式，研究表明需要更多仔细手工策划的数据集来改善基于此的 D2T 生成任务。

    May, 2022

  • 面向图文生成的逐阶微调算法

    本文提出了一种带有两个阶段微调机制的结构化图文模型，结合传统的标记和位置嵌入以及新颖的树级嵌入方法，显著提高了英语 WebNLG 2017 数据集的所有文本生成指标

    May, 2021

  • 数据转文本生成的层级模型

    本文提出了一种分层模型，对结构化数据进行编码，并通过数据元素级别和结构级别进行结构化数据转化为自然语言生成，实现了数据到文本的转换，并在 RotoWire 数据集上进行了定性和定量评估。

    Dec, 2019

  • 使用图形 transformer 从知识图谱生成文本

    本文介绍了一种新型图形转换编码器，可处理知识图谱等非层次性图形的内容，应用于科学文本领域的图 - 文本生成，评价结果表明，该技术可以产生比竞争的编码解码方法更具信息量且结构更好的文本。

    Apr, 2019

  • 零样本数据到文本生成的神经管线

    本文利用预处理语言模型进行通用领域训练，使用由维基百科构建的 WikiFluent 数据集，在 WebNLG 和 E2E 数据集上进行实验证明，使用单个项目描述生成 D2T 是可行的，且可以从 RDF 三元组中完成零 - shot D2T 生成。

    Mar, 2022

  • 统一表示与多源学习实现的少样本数据生成文本

    我们提出了一种新颖的结构化数据到文本生成方法，旨在改善多任务训练、零样本和少样本情况下的性能，并提供可以处理各种形式的结构化数据的统一表示，例如表格、知识图谱三元组和意义表示。我们证明了我们提出的方法可以有效适应新的结构化形式，并在性能上优于当前的方法。

    Aug, 2023

  • 高召回率的渐进式编辑数据文本生成

    该研究通过利用 Transformer 模型的 'Asymmetric Generation' 现象并结合 ProEdit 方法，提出了一种改进的 Data-to-text generation 方法，有效提高了在 ToTTo 数据集上的性能表现。

    Aug, 2022

  • 用于结构化数据到文本生成的深度图卷积编码器

    本文提出一种基于图卷积网络的替代编码器来直接利用输入文本结构，取代了传统基于序列到序列的方法，实证显示显式编码输入图结构的好处。

    Oct, 2018

  • 文本属性图上的纯 Transformer 预训练框架

    图序列预训练框架 GSPT 利用统一的文本表示，在图领域中取得了显著的可转移性和实证成功。

    Jun, 2024