ACLMar, 2022

TableFormer：表格文本编码的鲁棒 Transformer 建模

PDF
TL;DR提出了一种结构完整和鲁棒性强的表格文本编码架构 TableFormer，通过可学习的注意力偏置完全融合了表格结构偏差，进一步强化了对表格的理解能力，在 SQA、WTQ 和 TabFact 等表理解数据集方面优于强基线，尤其在面对具有答案不变的行列顺序扰动时，相对于最佳基线的提升达到 6％。
table understandingtable-text alignmentattention biasestableformersota performance
发现论文，激发创造
  • TableFormer: 基于 Transformer 的表格结构理解

    本文提出了一种新的表格结构识别模型，通过引入新的对象检测解码器和基于 transformer 的解码器，能够更准确地提取表格内容并处理各种形式的表格。

    Mar, 2022

  • 使用 TabT5 进行表格到文本生成和预训练

    TABT5 是编码器 - 解码器模型，可以生成基于表格和文本输入的自然语言文本，结合表格特定的嵌入和预训练，成功地克服了编码器的限制，并在多个领域取得了最新的最佳结果。

    Oct, 2022

  • 使用表格语言模型在工业表格中进行命名实体识别

    本文研究如何将基于 transformer 的模型应用于工业级别的表格数据中的实体识别问题，并开发了一种专用的表格数据增强策略来提高性能，实验证明表格的归纳偏差对于 transformer-based 模型的收敛至关重要。

    Sep, 2022

  • GridFormer：通过格网预测实现准确的表结构识别

    基于表格可以表示为网格的观察，我们提出了 GridFormer，一种通过预测网格的顶点和边来解释不受约束的表格结构的新方法。我们引入了一种 DETR 风格的表格结构识别器，通过一次预测获得网格的多目标信息。对包括有线、无线、多合并单元、定向和扭曲表格在内的五个具有挑战性的基准进行的大量实验证明了我们模型相对于其他方法的竞争性能。

    Sep, 2023

  • 基于编码器 - 解码器模型的表格生成框架

    提出了一种面向文本到表格的神经模型框架，包括排列基础的解码器，可应用于提取行项、合并实体和关系、或者知识库填充等 NLP 任务中，并在多个挑战性数据集上实现了超越以往解决方法高达 15％的最优效果。

    Jun, 2022

  • 具有结构感知等变学习的强健 (可控) 表格到文本生成

    提出一种基于自我注意力机制的等变学习框架，通过在单元格层面有效表达表格内容之间的关系，并保证模型对内容不变的结构变换具有鲁棒性以提高 table-to-text 生成模型在 ToTTo 和 HiTab 数据集上的性能。

    May, 2022

  • TextFormer：一种基于查询的端对端 混合监督文字定位器

    TextFormer 提出了一种使用 Transformer 架构实现的查询式端到端文本定位算法，采用多任务建模的联合语义理解，并通过自适应全局聚合模块处理任意形状的文本，通过弱监督和全标注的语料库信息提升检测和端到端文本定位结果，实现了在双语数据集上的显著优势。

    Jun, 2023

  • 基于结构化数据的订单规划神经文本生成

    研究人员提出了一种基于训练有素的神经网络的文本生成模型，以便从结构化数据中（例如表格）生成自然文本，该模型能够捕捉不同字段之间的关系，以生成更流畅的文本。

    Sep, 2017

  • 三维有效分层编码表格生成文本

    本文主要介绍了一个改进型的 Seq2Seq 模型，可用于将多维表格转化为文本，并针对表的多个维度建模，并在 NBA 篮球比赛数据的基准数据集 ROTOWIRE 上进行了评估，效果明显。

    Sep, 2019

  • MATE: 表格 Transformer 效率的多视角注意力机制

    使用稀疏注意力 Transformer 建构的 MATE 结构，可用于处理包含大量表格的网页文档。MATE 能够高效地处理表格的行列信息，并对涵盖超过 8000 个单元格的文档进行建模，同时在处理包含表格的大型文档时也表现出优越性。我们在三个涉及表格的推理数据集上创造了最新的最佳结果，其中包括了大型文档和表格的 HybridQA 数据集，我们的表现提高了 19 分。

    Sep, 2021