Jun, 2020

通过表示学习实现表格理解

PDF
TL;DR本文提出了 TURL 框架，该框架利用预训练 / 微调方法，在无监督的情况下学习关系表的深度上下文化表示，并应用于各种任务中。通过结构感知的 Transformer 编码器建模关系表的行列结构，并引入了一种新的 Masked Entity Recovery 目标进行预训练。在 6 个不同的关系表理解任务中，TURL 广泛适用且相对于现有方法具有更好的表现。
relational tablesturlpre-training/fine-tuning paradigmtransformer encodermasked entity recovery (mer) objective
发现论文，激发创造
  • TUTA：树形 Transformer 用于通用结构表预训练

    本文提出 TUTA，一种有助于理解结构化表格的统一预训练架构，通过强化 transformers 模型的三种新型结构感知机制，采用一个二维坐标树结构来描述表格的空间和层次信息，并采用基于树的注意力和位置嵌入来更好地捕捉表格的空间和层次信息，并通过三个渐进式的预训练目标进行预训练，将 TUTA 应用于电子表格和网络表格预训练，得到了最新的表格类型分类和单元格类型分类成效。

    Oct, 2020

  • UniTable: 通过自监督预训练实现表格结构识别的统一框架

    通过自我监督预训练和表格图像的更丰富无标注数据，UniTable 提出了一种统一的训练框架，将表格结构识别的训练对象整合为语言建模，达到了领域内最高水平。

    Mar, 2024

  • TaBERT: 文本和表格数据联合理解的预训练

    该论文提出了一种在语言模型中加入（半）结构化表格信息的方法，并在语义解析任务上取得了新的最佳结果。

    May, 2020

  • 基于表格的预训练：模型架构、预训练目标和下游任务的调查

    本文综述了表格预训练的不同模型设计、预训练目标和下游任务，分享了现有挑战和未来机遇的思考和愿景。

    Jan, 2022

  • TABBIE：表格数据的预训练表示

    通过自我学习目标函数和预训练语言模型（如 BERT）对表格和相关文本进行联合建模的现有工作可以提高涉及配对表格和文本的任务（例如回答关于表格的问题）的性能，但在没有任何相关文本的情况下处理表格的任务（例如填充缺失的单元格）时表现不佳。我们提出了一种简单的预训练目标（损坏单元格检测），该预训练目标只是从表格数据中学习，并且在一套基于表格的预测任务上达到了最先进的水平，从而超过了竞争方法。与其他方法不同，我们的模型（TABBIE）提供了所有表子结构（单元格、行和列）的嵌入，并且所需的计算时间也要少得多。我们对模型的学习单元格、列和行的表示进行了质量分析，结果表明它可以理解复杂的表语义和数字趋势。

    May, 2021

  • 面向无监督复杂表格推理的统一框架

    本文提出了一种适用于表格推理任务的统一的无监督框架（UCTR），该框架通过生成复杂逻辑的充足和多样化的合成数据，使得模型能够在无人标注数据的情况下获得良好的推理性能。该方法在实验中表现出了与监督模型最多 93% 的性能，并在低资源领域作为数据增强技术大幅提高了监督性能。

    Dec, 2022

  • URL-BERT：通过社交媒体参与训练网页表示

    通过引入新的预训练目标，我们提出了一个框架来适应通用语言模型（LM）编码器以理解和表示网页的内容，并在多项任务和 Twitter 内外部基准测试中证明了该方法的有效性。

    Oct, 2023

  • HYTREL：基于超图的表格数据表示学习

    提出了一种名为 HYTREL 的表格语言模型，它利用超图捕捉表格数据的置换不变性和三种其他结构属性，从而在最小预训练条件下优于其他竞争基线，并可以将表格结构整合到其表示中。

    Jul, 2023

  • TCN：用于 Web 表格解释的表卷积网络

    本文提出一种基于表格卷积网络的关系表格表示学习方法，旨在有效获取短尾信息，充实知识图谱，并考虑从不同角度聚合多类型隐含连接的单元格内和跨表的语境信息，实验表明本方法在真实 Web 数据集上可以有效预测列类型和对列关系，大幅提升了预测准确率。

    Feb, 2021

  • 使用深度上下文语言模型进行表格搜索

    本文使用预训练的 BERT 模型来处理表格检索任务，研究如何编码表格内容以及如何将其他文献中的特征与 BERT 模型联合训练，实验表明这一方法在公共数据集上表现卓越。

    May, 2020