Jun, 2022

基于区域的形式文件理解方法 RDU

PDF
TL;DR这篇研究论文提出了一种名为 RDU 的新的基于区域预测的文档理解模型，可以从表格文本混合的形式文档中提取结构化信息，其方法融合了布局感知和计算机视觉模型，具有出色的实验结果。
key information extractionstructured informationregion predictionlayout-aware bertform-style documents
发现论文，激发创造
  • 从复杂文档中提取结构化信息的基准测试

    本文提出一个名为 VRDU 的用于评价文档中网络结构、多样的数据类型以及丰富的模板和布局等不同因素综合作用的数据集，并在此基础上设计实验模型，评估文档中结构化数据提取的性能。作者发现，此类任务中面对新模板挑战较大，而针对该问题，本文也提出了一种 few-shot learning 的方法。

    Nov, 2022

  • 公共文件信息提取基准中的信息冗余和偏差

    本研究通过对公共基准数据集 SROIE 和 FUNSD 进行实验，揭示了这两个数据集中存在的训练和测试文件的显著相似性，并提出了重采样策略以更好地评价模型对于具有不同文档注释的真实用例的泛化能力。模型在调整后的划分上效果下降 10.5% 至 SROIE 和 3.5% 至 FUNSD。

    Apr, 2023

  • GenKIE：鲁棒的生成多模态文档关键信息抽取

    提出了一种名为 GenKIE 的新型生成式端到端模型，利用多模态编码器嵌入视觉、版面布局和文本特征，并利用解码器生成所需的输出，从而解决了来自扫描文档的关键信息抽取任务。实验证明 GenKIE 能够有效泛化到不同类型的文档，并在 OCR 错误方面表现出鲁棒性，因此在实际场景中具有广泛的应用前景。

    Oct, 2023

  • 使用任务优化实现端到端文档分类和关键信息提取

    本文提出了一种基于端到端文档分类和关键信息提取的表格自动处理方法，其中采用了文本和布局编码技术，利用余弦相似度度量来对视觉上相似的文档进行分类，进而使用混合整数规划来提取文档中的关键信息，实验表明本方法对于文档预处理等优化技术具有重要作用，并取得了令人满意的实验效果。

    Jun, 2023

  • BuDDIE：一个用于多任务信息提取的商业文档数据集

    通过介绍 BuDDIE（商业文档信息抽取数据集），本文提供了一个包含丰富且稠密注释的多任务数据集，其中包含 1,665 个现实世界商业文档。该数据集涵盖了文档分类、关键实体提取和视觉问答等多个任务，并提供了每个任务的基线结果。

    Apr, 2024

  • 检索增强的结构化生成：以工商文档信息提取为工具使用

    商业文档信息提取（BDIE）是将一大段非结构化信息（原始文本、扫描文档等）转换为下游系统可以解析和使用的结构化格式的问题。本文提出了一种名为 RASG 的检索增强结构化生成的新的 BDIE 框架，它在 BDIE 基准测试中实现了最先进的 KIE 任务和 LIR 任务的结果。

    May, 2024

  • 基于深度学习与基于规则的修正在采购文件中的关键信息提取

    本文利用深度学习和基于规则的矫正技术对采购文件中的重要信息进行提取，通过实验证明规则矫正技术对于基于深度学习的分类结果有着显著的提升。

    Oct, 2022

  • 基于空间双模态图推理的关键信息提取

    本文提出了一种旨在从文档图片中提取关键信息的端到端空间双模图形推理方法，将文档图像建模为双模图，节点编码检测到的文本区域的视觉和文本特征，边表示相邻文本区域的空间关系，并通过沿图边传播消息和推理图节点的类别来解决关键信息提取问题；进一步提供了一个新的数据集 “WildReceipt”，其中包含 25 个关键信息类别，约 69000 个文本框，并在 SROIE 和 WildReceipt 上获得了最新的最佳结果。

    Mar, 2021

  • DLUE：文件语言理解基准测试

    本文提出一种新的文档语言理解评测框架 ——DLUE，它涵盖了各种形式、领域和文档类型的文档理解任务，并对六个知名 Transformer 模型进行了系统评估，结果显示由于内容冗长、结构复杂和知识分散，文档理解仍然远未解决，没有一种神经架构能够支配所有任务，这需要一个通用的文档理解结构。

    May, 2023

  • DUBLIN -- 语言 - 图像网络理解文档

    通过预训练 DUBLIN 模型，利用文档图像中的空间和语义信息，包括 Masked Document Content Generation Task、Bounding Box Task 和 Rendered Question Answering Task，实现对象检测和文档图像理解，在各项基准测试中优于现有模型，尤其在 WebSRC 数据集，其 EM 值和 F1 值分别为 77.75 和 84.25，与文本型 SOTA 方法具有可比性。

    May, 2023