May, 2023

文本到表格生成的序列 - 序列与集合模型

PDF
TL;DR本文介绍了一种用于文本到表格生成的新模型，该模型在考虑到多行中的大多数组合不敏感的情况下，首先采用文本编码器编码输入文本，再加入了一种表头生成器来以序列生成的方式输出表头，之后再使用具有可学习的行和列嵌入的表体生成器并行生成一组表身行，实验结果表明，此模型优于基线，达到了公认的数据集上的最佳性能。
text-to-table generationsequence-to-sequenceorder-insensitivetext encodertable header generator
发现论文，激发创造
  • 文本转表：一种新的信息提取方式

    本文研究了信息提取的新问题 -- 文本到表格，通过学习文本 - 表格配对数据，训练模型以生成主要内容的表格。我们将其形式化为序列到序列问题，使用预训练语言模型 fine-tuned 后的 seq2seq 模型完成任务，并通过引入表格约束和表格关系嵌入来改进性能。实验结果显示，我们的方法可以进一步提高基线模型和关系提取 / 命名实体提取等传统方法的性能，论文还讨论了相关挑战。

    Sep, 2021

  • 基于编码器 - 解码器模型的表格生成框架

    提出了一种面向文本到表格的神经模型框架，包括排列基础的解码器，可应用于提取行项、合并实体和关系、或者知识库填充等 NLP 任务中，并在多个挑战性数据集上实现了超越以往解决方法高达 15％的最优效果。

    Jun, 2022

  • 结构感知 Seq2seq 学习的表格到文本生成

    本文提出一个新结构的 seq2seq 模型，包含场门编码器和生成器，以及双重注意力机制，通过编码和解码阶段实现了对表格内容和结构的建模，从而实现了表格到文本的生成任务，并在 WIKIBIO 数据集上取得了优于基线的结果。

    Nov, 2017

  • 三维有效分层编码表格生成文本

    本文主要介绍了一个改进型的 Seq2Seq 模型，可用于将多维表格转化为文本，并针对表的多个维度建模，并在 NBA 篮球比赛数据的基准数据集 ROTOWIRE 上进行了评估，效果明显。

    Sep, 2019

  • 具有结构感知等变学习的强健 (可控) 表格到文本生成

    提出一种基于自我注意力机制的等变学习框架，通过在单元格层面有效表达表格内容之间的关系，并保证模型对内容不变的结构变换具有鲁棒性以提高 table-to-text 生成模型在 ToTTo 和 HiTab 数据集上的性能。

    May, 2022

  • 基于结构化数据的订单规划神经文本生成

    研究人员提出了一种基于训练有素的神经网络的文本生成模型，以便从结构化数据中（例如表格）生成自然文本，该模型能够捕捉不同字段之间的关系，以生成更流畅的文本。

    Sep, 2017

  • Plan-then-Seam: 实现高效的表格到文本生成

    本文提出了第一个完全的非自回归表格到文本模型（Plan-then-Seam，PTS），通过使用一个新颖的重新思考指针预测器编写和校准内容的计划，然后将计划作为上下文进行拼接以解码描述，从而在保持并行解码的同时，通过共享参数并迭代执行这两个步骤来捕获标记间的互相依赖性，这两个步骤共享参数并迭代执行以捕获标记间的互相依赖性，以有效地实现对表格到文本生成任务的性能提升。

    Feb, 2023

  • 使用 Graph-to-Sequence 模型进行 SQL 到文本生成

    本文提出了一种将 SQL 查询表示为有向图的策略，并采用图到序列模型将全局结构信息编码成节点嵌入的方法，从而有效地学习 SQL 查询模式和其解释之间的相关性，实验结果表明，我们的模型在 WikiSQL 数据集和 Stackoverflow 数据集上表现显著优于 Seq2Seq 和 Tree2Seq 基线模型，达到了最先进的性能水平。

    Sep, 2018

  • 生成 Web 表格标题

    本研究提出了一种基于序列生成模型和抽取的文本片段的表格标题生成方法，在少于 1 万个示例的训练下超过了现有的方法，接近群众智慧标题的质量，并成为处理表格标题文本生成的新的最佳方法。

    Jun, 2018

  • 使用 Seq2seq 模型生成有条件的集合

    这篇文章提出了一种对于 Seq2Seq 模型的数据增强方法，称为 SETAUG，通过在输入序列中插入集合的大小信息并使用新的排列采样算法，有效地捕捉了集合元素的次序等不变性和基数属性。在进行试验后，这种方法实现了平均相对改进 20％，适用于 BART、T5 和 GPT-3 等多种不同模型。

    May, 2022