Nov, 2022

从复杂文档中提取结构化信息的基准测试

PDF
TL;DR本文提出一个名为 VRDU 的用于评价文档中网络结构、多样的数据类型以及丰富的模板和布局等不同因素综合作用的数据集，并在此基础上设计实验模型，评估文档中结构化数据提取的性能。作者发现，此类任务中面对新模板挑战较大，而针对该问题，本文也提出了一种 few-shot learning 的方法。
visually rich document understandingstructured data extractiondocument layout analysismulti-modal language modelsfew-shot learning
发现论文，激发创造
  • 文档理解数据集与评估（DUDE）

    本文探讨文档人工智能 (Document AI) 社区重新评估当前的方法学，并挑战创建更具实际意义的基准标准的任务。文档理解数据集和评估 (DUDE) 旨在纠正在理解视觉丰富文档方面的研究进展。我们提出了新的数据集，其中包含来自各个行业、领域和多页的视觉丰富文档的各种问题、答案和布局。此外，我们通过创建多任务和多领域的评估设置来推动当前方法的界限，以更准确地模拟真实世界中强大的泛化和适应低资源环境的需求。通过 DUDE 旨在为社区树立一个更实用、长期的基准标准，并希望它将导致未来的扩展和贡献，以应对实际挑战。最后，我们的工作说明了在文档人工智能中寻找更有效的方式来对语言、图像和布局进行建模的重要性。

    May, 2023

  • 具有布局感知能力的基于预训练语言模型的视觉丰富文档信息抽取方法

    本文研究信息提取的问题，使用大型预训练语言模型和图神经网络相结合的模型来高效地编码视觉和文本信息，并引入新的微调目标，通过使用大量未标记的领域内数据来改善领域内无监督微调。我们在真实世界的发票和简历数据集上进行了实验，并表明所提出的方法在发票上的绝对 F1 比强文本基线高出 6.3％ ，在简历中 F1 绝对值增加了 4.7％。在少数样本情况下，我们的方法需要比基线少 30 倍的批注数据才能在约 90％的 F1 达到相同的性能水平。

    May, 2020

  • 视觉丰富文档评估的文档智能度量

    介绍了一款名为 DI-Metrics 的 Python 库，其中包括了基于文本、几何和层次结构指标的用于评估 Visually-Rich Documents 信息提取模型表现的指标，并使用 CORD 数据集比较了三种 SOTA 模型和一种工业模型的性能。该开源库已在 GitHub 上发布。

    May, 2022

  • 基于 LayoutLMv3 的增强关系抽取模型在视觉丰富文档中的应用

    通过对 FUNSD 和 CORD 数据集上进行的广泛剖析研究及对 LayoutLMv3 的初始化，我们提出了一个模型，用于在视觉丰富的文档中进行关系抽取，其结果超过了当前行业的最佳效果，且没有特定的预训练任务和较少的参数。

    Apr, 2024

  • BuDDIE：一个用于多任务信息提取的商业文档数据集

    通过介绍 BuDDIE（商业文档信息抽取数据集），本文提供了一个包含丰富且稠密注释的多任务数据集，其中包含 1,665 个现实世界商业文档。该数据集涵盖了文档分类、关键实体提取和视觉问答等多个任务，并提供了每个任务的基线结果。

    Apr, 2024

  • StrucTexT: 多模态 Transformer 的结构化文本理解

    本文提出一种名为 StrucTexT 的统一框架，该框架使用 transformer 构建了一个段 - 标记对齐的编码器来处理文档上下文中不同层面的实体标记和链接任务，并使用三个自监督任务设计了一种新颖的预训练策略，以有效地提取多模态信息，从而优于 FUNSD，SROIE 和 EPHOIE 数据集的现有方法。

    Aug, 2021

  • ICDAR 2023 结构化文本提取竞赛之视觉丰富文档图像

    ICDAR 2023 competition on Structured text extraction from Visually-Rich Document images (SVRD) organized with two tracks for evaluating end-to-end Complex Entity Linking and Labeling and Zero-shot / Few-shot Structured Text extraction respectively, with more than 50 types of visually-rich document images from enterprise applications, attracting 35 and 15 participants respectively and revealing a large gap in expected information extraction performance for complex and zero-shot scenarios.

    Jun, 2023

  • 迈向类人机理解：在视觉丰富文档中的少样关系学习

    通过引入两个新的少样本基准数据集，本研究针对可视化丰富的文档（VRD）中的键 - 值关系三元组的提取，提出了一种变分方法，其中包含关系 2D 空间先验知识和原型化校正技术，实验结果表明该方法的有效性，并为实际应用开辟了新的可能性。

    Mar, 2024

  • Bi-VLDoc: 面向视觉丰富的文档理解的双向视觉 - 语言建模

    本文提出了一种名为 Bi-VLDoc 的预训练模型，该模型通过双向视觉语言监督策略和视觉语言混合注意机制来完全探索和利用视觉和语言之间的交互作用，以学习具有更丰富语义的更强的跨模态文档表示，并在模型效果上显著优于现有模型，包括文档理解、文档分类和文档视觉问答等领域。

    Jun, 2022

  • 公共文件信息提取基准中的信息冗余和偏差

    本研究通过对公共基准数据集 SROIE 和 FUNSD 进行实验，揭示了这两个数据集中存在的训练和测试文件的显著相似性，并提出了重采样策略以更好地评价模型对于具有不同文档注释的真实用例的泛化能力。模型在调整后的划分上效果下降 10.5% 至 SROIE 和 3.5% 至 FUNSD。

    Apr, 2023