EMNLPOct, 2022

使用 TabT5 进行表格到文本生成和预训练

PDF
TL;DRTABT5 是编码器 - 解码器模型，可以生成基于表格和文本输入的自然语言文本，结合表格特定的嵌入和预训练，成功地克服了编码器的限制，并在多个领域取得了最新的最佳结果。
encoder-decoder modeltable understandingnatural language textpre-trainingstate-of-the-art results
发现论文，激发创造
  • TableFormer: 基于 Transformer 的表格结构理解

    本文提出了一种新的表格结构识别模型，通过引入新的对象检测解码器和基于 transformer 的解码器，能够更准确地提取表格内容并处理各种形式的表格。

    Mar, 2022

  • 使用表格语言模型在工业表格中进行命名实体识别

    本文研究如何将基于 transformer 的模型应用于工业级别的表格数据中的实体识别问题，并开发了一种专用的表格数据增强策略来提高性能，实验证明表格的归纳偏差对于 transformer-based 模型的收敛至关重要。

    Sep, 2022

  • 生成式表格预训练加强了表格预测模型

    该论文提出了 TapTap，利用表格预训练生成高质量的合成表格，支持各种基于表格数据的应用，通过广泛的实验验证其在 12 个数据集上的性能大大优于 16 种基线，并可轻松与各种基础模型相结合，是合成表格数据生成发展中的一个里程碑。

    May, 2023

  • TABBIE：表格数据的预训练表示

    通过自我学习目标函数和预训练语言模型（如 BERT）对表格和相关文本进行联合建模的现有工作可以提高涉及配对表格和文本的任务（例如回答关于表格的问题）的性能，但在没有任何相关文本的情况下处理表格的任务（例如填充缺失的单元格）时表现不佳。我们提出了一种简单的预训练目标（损坏单元格检测），该预训练目标只是从表格数据中学习，并且在一套基于表格的预测任务上达到了最先进的水平，从而超过了竞争方法。与其他方法不同，我们的模型（TABBIE）提供了所有表子结构（单元格、行和列）的嵌入，并且所需的计算时间也要少得多。我们对模型的学习单元格、列和行的表示进行了质量分析，结果表明它可以理解复杂的表语义和数字趋势。

    May, 2021

  • TableFormer：表格文本编码的鲁棒 Transformer 建模

    提出了一种结构完整和鲁棒性强的表格文本编码架构 TableFormer，通过可学习的注意力偏置完全融合了表格结构偏差，进一步强化了对表格的理解能力，在 SQA、WTQ 和 TabFact 等表理解数据集方面优于强基线，尤其在面对具有答案不变的行列顺序扰动时，相对于最佳基线的提升达到 6％。

    Mar, 2022

  • 使用中间预训练理解表格

    通过数据增强方法，我们将 TAPAS 模型应用于表格蕴含和顺序表格问答任务，在采用表格剪枝技术的前提下，取得了 TabFact 和 SQA 数据集上的最新成果。

    Oct, 2020

  • TaBERT: 文本和表格数据联合理解的预训练

    该论文提出了一种在语言模型中加入（半）结构化表格信息的方法，并在语义解析任务上取得了新的最佳结果。

    May, 2020

  • 基于编码器 - 解码器模型的表格生成框架

    提出了一种面向文本到表格的神经模型框架，包括排列基础的解码器，可应用于提取行项、合并实体和关系、或者知识库填充等 NLP 任务中，并在多个挑战性数据集上实现了超越以往解决方法高达 15％的最优效果。

    Jun, 2022

  • cTBL: 为对话表格增强大型语言模型

    本论文介绍了一种名为 “Conversational Tables” 的方法，综合使用了文本和非文本信息，利用 Transformer 编码器 - 解码器来检索表格信息，并生成基于所检索到信息的对话响应，实验结果表明在 HyrbiDialogue 数据集上取得了相对 5％左右的 Top-1 和 Top-3 准确度提高，并在响应生成上取得了 46％左右的 ROUGE 分数相对提高和更好的人类评估结果。

    Mar, 2023

  • 利用预训练语言模型实现表格到文本的生成：一种表格结构理解和文本构思的方法

    本文提出了一种名为 TASD 的表结构理解和文本判断方法，采用三层多头自注意力网络实现了以预训练语言模型为基础的文本生成模型，并采用多遍解码器框架增强了表格描述的生成能力，实验证明该方法可以为不同类型的表格生成准确流畅的文本描述。

    Jan, 2023