Feb, 2024

TreeForm: 表格文档解析的端到端标注与评估

PDF
TL;DR我们提出了一种新的 F1 度量标准来评估表单解析器，并描述了一种适用于 Visually Rich Form Understanding 的内容不可知的基于树的注释方案：TreeForm。我们提供了将以前的注释方案转换为 TreeForm 结构并使用归一化树编辑距离的修改版本来评估 TreeForm 预测的方法。我们在 FUNSD 和 XFUND 数据集上分别得到了 61.5 和 26.4 的 end-to-end 性能评估和 TreeForm 编辑距离的初始基线。我们希望 TreeForm 可以促进对表单类文档注释、建模和评估复杂性的深入研究。
发现论文，激发创造
  • 通用表格理解的端到端分层关系抽取

    通过深度神经网络，结合多级注意力 U-Net 结构和部分强度场、部分关联场的联合性实现形式理解中的实体检测和链接预测，有效地提升了文档形式理解任务的表现，尤其是在 FUNSD 数据集上的表现优于原始模型和现有基准。

    Jun, 2021

  • DocStruct：一种多模态方法，用于提取文档中的层次结构，以实现通用表单理解

    本研究提出了一种基于多模态方法的表格理解框架，该框架可以有效地提取表格键值对，并应用于医疗表格和 FUNSD 等基准数据集上，实验证明方法的有效性。

    Oct, 2020

  • DocFormerv2: 文档理解的本地特征

    提出了一种多模态 Transformer 模型 - DocFormerv2，应用于视觉文档理解领域，在多个数据集上都取得了最先进的结果，并通过大量消融实验证明了其预训练和无监督任务设计的有效性。

    Jun, 2023

  • SRFUND：形态理解中的多粒度分层结构重建基准

    我们提出了 SRFUND，这是一个层次结构化的多任务表单理解基准数据集，它在原始的 FUNSD 和 XFUND 数据集基础上提供了细化的注释，涵盖了五个任务：（1）将单词合并为文本行，（2）将文本行合并为实体，（3）实体分类，（4）项目表定位，以及（5）基于实体的完整文档层次结构恢复。

    Jun, 2024

  • UniVIE：一种基于统一标签空间的表单式文档图像信息提取方法

    现有的视觉信息提取方法通常将从表单样式文档中提取信息的过程分解为不同的子任务，我们提出了一种新的视角，将其重新定义为关系预测问题，并统一了不同任务的标签，以解决表单文档中的层次关系。我们提出的统一模型 UniVIE 通过构建树提案和关系解码模块来全面解决视觉信息提取问题，通过引入树注意力掩码和树级别嵌入来增强关系预测能力。在我们的数据集 HierForms 和公开数据集 SIBR 上进行的广泛实验评估证明了我们方法达到了最先进的结果，突显了我们统一方法在推进视觉信息提取领域的有效性和潜力。

    Jan, 2024

  • QueryForm：一个简单的零 - shot 表单实体查询框架

    本论文提出了一种基于查询的框架 QueryForm，用于在文档理解方面进行零样本转移学习，并通过预先训练和微调相统一的方式进行模型训练，从而使模型能够学习各种实体和布局，同时无需目标特定的训练数据，在 XFUND 和 Payment 数据集上实现了更好的结果。

    Nov, 2022

  • FormNet：表格文档信息提取中超越顺序建模的结构编码

    提出一种新的结构感知序列模型 FormNet，它通过引入 Rich Attention 和 Super-Tokens，能够更准确地序列化表单中的标记，从而实现了优于现有方法的性能。

    Mar, 2022

  • M3-VRD：多模态多任务多教师基于视觉丰富的表格文档理解

    本论文介绍一种划时代的多模态、多任务、多教师关节粒度知识蒸馏模型，用于视觉丰富型表单文件的理解。该模型旨在通过促进标记和实体表示之间微妙的相关性，从细粒度和粗粒度层面的洞察中获取 in design，从而解决表单文件中的复杂性问题。此外，我们引入了新的相互粒度损失函数和交叉粒度损失函数，以进一步优化多教师知识蒸馏的传递过程，呈现出分布差异和对表单文件的协调理解。通过全面评估公开可用的表单文件理解数据集，我们提出的模型始终优于现有基准线，在处理视觉复杂表单文件的复杂结构和内容方面展示其功效。

    Feb, 2024

  • XFormParser：一种简单而有效的多模式多语言半结构化表单解析器

    在文档 AI 领域中，半结构化表单解析起着至关重要的作用。本研究提出了一种简单而有效的多模态和多语言半结构化表单解析器（XFormParser），它基于全面的预训练语言模型，并创新地融合了语义实体识别（SER）和关系抽取（RE）技术。通过针对多语言表单解析需求开发了一个创新性的基准数据集，通过在多语言基准和新开发的数据集上进行严格测试，XFormParser 在语言特定设置中的 RE 任务中取得了卓越的效果，F1 得分提高了高达 1.79％。与现有的 SOTA 基准相比，我们的框架在多语言和零样本环境中的性能显著提高。

    May, 2024

  • 动态图编辑的形态理解

    本文介绍了一种名为 FUDGE 的模型，利用图神经网络预测文本元素之间关系、从而基于迭代方式，组合文本段落并删除边缘以得到最终的文本实体和关系。与最近在该领域的大量预训练语言模型相比，FUDGE 从（小型的）提供的训练集学习视觉特征，能够适用于文本识别困难的表格以及资源匮乏的语言。在历史 NAF 数据集上的结果表明 FUDGE 是最先进的方法。

    May, 2021