Jun, 2021

通用表格理解的端到端分层关系抽取

PDF
TL;DR通过深度神经网络，结合多级注意力 U-Net 结构和部分强度场、部分关联场的联合性实现形式理解中的实体检测和链接预测，有效地提升了文档形式理解任务的表现，尤其是在 FUNSD 数据集上的表现优于原始模型和现有基准。
form understandingentity detectionlink predictionneural networkfunsd dataset
发现论文，激发创造
  • 语言无关的神经符号语义分析在形式理解中的应用

    该研究提出了一种名为 LAGNN 的语言无关图神经网络模型，用于将表格解析成单词 - 关系图，以联合识别实体和关系，并通过相对间距来利用布局信息进行易于语言转移。

    May, 2023

  • DocStruct：一种多模态方法，用于提取文档中的层次结构，以实现通用表单理解

    本研究提出了一种基于多模态方法的表格理解框架，该框架可以有效地提取表格键值对，并应用于医疗表格和 FUNSD 等基准数据集上，实验证明方法的有效性。

    Oct, 2020

  • SRFUND：形态理解中的多粒度分层结构重建基准

    我们提出了 SRFUND，这是一个层次结构化的多任务表单理解基准数据集，它在原始的 FUNSD 和 XFUND 数据集基础上提供了细化的注释，涵盖了五个任务：（1）将单词合并为文本行，（2）将文本行合并为实体，（3）实体分类，（4）项目表定位，以及（5）基于实体的完整文档层次结构恢复。

    Jun, 2024

  • 动态图编辑的形态理解

    本文介绍了一种名为 FUDGE 的模型，利用图神经网络预测文本元素之间关系、从而基于迭代方式，组合文本段落并删除边缘以得到最终的文本实体和关系。与最近在该领域的大量预训练语言模型相比，FUDGE 从（小型的）提供的训练集学习视觉特征，能够适用于文本识别困难的表格以及资源匮乏的语言。在历史 NAF 数据集上的结果表明 FUDGE 是最先进的方法。

    May, 2021

  • QueryForm：一个简单的零 - shot 表单实体查询框架

    本论文提出了一种基于查询的框架 QueryForm，用于在文档理解方面进行零样本转移学习，并通过预先训练和微调相统一的方式进行模型训练，从而使模型能够学习各种实体和布局，同时无需目标特定的训练数据，在 XFUND 和 Payment 数据集上实现了更好的结果。

    Nov, 2022

  • TreeForm: 表格文档解析的端到端标注与评估

    我们提出了一种新的 F1 度量标准来评估表单解析器，并描述了一种适用于 Visually Rich Form Understanding 的内容不可知的基于树的注释方案：TreeForm。我们提供了将以前的注释方案转换为 TreeForm 结构并使用归一化树编辑距离的修改版本来评估 TreeForm 预测的方法。我们在 FUNSD 和 XFUND 数据集上分别得到了 61.5 和 26.4 的 end-to-end 性能评估和 TreeForm 编辑距离的初始基线。我们希望 TreeForm 可以促进对表单类文档注释、建模和评估复杂性的深入研究。

    Feb, 2024

  • UniVIE：一种基于统一标签空间的表单式文档图像信息提取方法

    现有的视觉信息提取方法通常将从表单样式文档中提取信息的过程分解为不同的子任务，我们提出了一种新的视角，将其重新定义为关系预测问题，并统一了不同任务的标签，以解决表单文档中的层次关系。我们提出的统一模型 UniVIE 通过构建树提案和关系解码模块来全面解决视觉信息提取问题，通过引入树注意力掩码和树级别嵌入来增强关系预测能力。在我们的数据集 HierForms 和公开数据集 SIBR 上进行的广泛实验评估证明了我们方法达到了最先进的结果，突显了我们统一方法在推进视觉信息提取领域的有效性和潜力。

    Jan, 2024

  • FormNet：表格文档信息提取中超越顺序建模的结构编码

    提出一种新的结构感知序列模型 FormNet，它通过引入 Rich Attention 和 Super-Tokens，能够更准确地序列化表单中的标记，从而实现了优于现有方法的性能。

    Mar, 2022

  • M3-VRD：多模态多任务多教师基于视觉丰富的表格文档理解

    本论文介绍一种划时代的多模态、多任务、多教师关节粒度知识蒸馏模型，用于视觉丰富型表单文件的理解。该模型旨在通过促进标记和实体表示之间微妙的相关性，从细粒度和粗粒度层面的洞察中获取 in design，从而解决表单文件中的复杂性问题。此外，我们引入了新的相互粒度损失函数和交叉粒度损失函数，以进一步优化多教师知识蒸馏的传递过程，呈现出分布差异和对表单文件的协调理解。通过全面评估公开可用的表单文件理解数据集，我们提出的模型始终优于现有基准线，在处理视觉复杂表单文件的复杂结构和内容方面展示其功效。

    Feb, 2024

  • 基于数据效率的形式文档信息提取

    本文介绍了如何使用少量标记数据和被标记语料库进行转移学习，以实现在规模上自动从表单状文件提取信息。

    Jan, 2022