KDDOct, 2020

TUTA：树形 Transformer 用于通用结构表预训练

PDF
TL;DR本文提出 TUTA，一种有助于理解结构化表格的统一预训练架构，通过强化 transformers 模型的三种新型结构感知机制，采用一个二维坐标树结构来描述表格的空间和层次信息，并采用基于树的注意力和位置嵌入来更好地捕捉表格的空间和层次信息，并通过三个渐进式的预训练目标进行预训练，将 TUTA 应用于电子表格和网络表格预训练，得到了最新的表格类型分类和单元格类型分类成效。
发现论文，激发创造
  • 通过表示学习实现表格理解

    本文提出了 TURL 框架，该框架利用预训练 / 微调方法，在无监督的情况下学习关系表的深度上下文化表示，并应用于各种任务中。通过结构感知的 Transformer 编码器建模关系表的行列结构，并引入了一种新的 Masked Entity Recovery 目标进行预训练。在 6 个不同的关系表理解任务中，TURL 广泛适用且相对于现有方法具有更好的表现。

    Jun, 2020

  • UniTable: 通过自监督预训练实现表格结构识别的统一框架

    通过自我监督预训练和表格图像的更丰富无标注数据，UniTable 提出了一种统一的训练框架，将表格结构识别的训练对象整合为语言建模，达到了领域内最高水平。

    Mar, 2024

  • 将结构化数据统一为图形以进行数据到文本预训练

    将各种结构化数据（如表格、键值数据、知识图谱）统一为图形格式，并将不同的数据转化为文本生成任务视为图形到文本生成任务。为了有效利用输入图形的结构信息，我们提出了一种结构增强的预训练方法，通过设计一种结构增强的 Transformer 来进行 D2T 生成。经过大量实验证明了我们模型的有效性。

    Jan, 2024

  • TableFormer: 基于 Transformer 的表格结构理解

    本文提出了一种新的表格结构识别模型，通过引入新的对象检测解码器和基于 transformer 的解码器，能够更准确地提取表格内容并处理各种形式的表格。

    Mar, 2022

  • CARTE：表格学习的预训练与迁移

    预定深度学习模型、表格数据、数据集成、神经网络架构、CARTE 等是该论文的关键词，并且 CARTE 是可用于表格数据的大型预训练模型的一种神经网络架构。

    Feb, 2024

  • 基于表格的预训练：模型架构、预训练目标和下游任务的调查

    本文综述了表格预训练的不同模型设计、预训练目标和下游任务，分享了现有挑战和未来机遇的思考和愿景。

    Jan, 2022

  • CT-BERT：通过跨表格预训练学习更好的表格表示

    该研究论文探讨了针对表格数据的交叉表预训练的关键研究挑战，并提出了一种名为 CT-BERT 的新型框架，同时引入了对比学习和表格建模的目标，通过广泛的实证结果证明 CT-BERT 在监督和自监督设置下显著优于之前的方法。

    Jul, 2023

  • 具有结构感知等变学习的强健 (可控) 表格到文本生成

    提出一种基于自我注意力机制的等变学习框架，通过在单元格层面有效表达表格内容之间的关系，并保证模型对内容不变的结构变换具有鲁棒性以提高 table-to-text 生成模型在 ToTTo 和 HiTab 数据集上的性能。

    May, 2022

  • TableFormer：表格文本编码的鲁棒 Transformer 建模

    提出了一种结构完整和鲁棒性强的表格文本编码架构 TableFormer，通过可学习的注意力偏置完全融合了表格结构偏差，进一步强化了对表格的理解能力，在 SQA、WTQ 和 TabFact 等表理解数据集方面优于强基线，尤其在面对具有答案不变的行列顺序扰动时，相对于最佳基线的提升达到 6％。

    Mar, 2022

  • 利用预训练语言模型实现表格到文本的生成：一种表格结构理解和文本构思的方法

    本文提出了一种名为 TASD 的表结构理解和文本判断方法，采用三层多头自注意力网络实现了以预训练语言模型为基础的文本生成模型，并采用多遍解码器框架增强了表格描述的生成能力，实验证明该方法可以为不同类型的表格生成准确流畅的文本描述。

    Jan, 2023