EMNLPOct, 2023

GenKIE：鲁棒的生成多模态文档关键信息抽取

PDF
TL;DR提出了一种名为 GenKIE 的新型生成式端到端模型，利用多模态编码器嵌入视觉、版面布局和文本特征，并利用解码器生成所需的输出，从而解决了来自扫描文档的关键信息抽取任务。实验证明 GenKIE 能够有效泛化到不同类型的文档，并在 OCR 错误方面表现出鲁棒性，因此在实际场景中具有广泛的应用前景。
key information extractionscanned documentsgenerative end-to-end modelmultimodal encodersocr errors
发现论文，激发创造
  • 使用改进的图学习卷积网络从文档中提取关键信息的 PICK 技术

    该文介绍了使用图形学习与图形卷积操作相结合的 PICK 框架，以处理 KIE 中复杂文档布局，从而获得包含文本和视觉特征和全局布局的更丰富的语义表示，并通过实验表明了该方法的性能优于基线方法。

    Apr, 2020

  • 使用任务优化实现端到端文档分类和关键信息提取

    本文提出了一种基于端到端文档分类和关键信息提取的表格自动处理方法，其中采用了文本和布局编码技术，利用余弦相似度度量来对视觉上相似的文档进行分类，进而使用混合整数规划来提取文档中的关键信息，实验表明本方法对于文档预处理等优化技术具有重要作用，并取得了令人满意的实验效果。

    Jun, 2023

  • RealKIE: 为企业关键信息提取设计的五个新数据集

    RealKIE 是一个具有五个具有挑战性数据集的基准测试，旨在推进关键信息提取方法，重点关注企业应用。这些数据集包括一系列不同类型的文档，包括 SEC S1 文件，美国保密协议，英国慈善报告，FCC 发票和资源合同。除了介绍这些数据集外，我们还提供了详细的注释过程、文档处理技术和基准建模方法的描述，以促进开发能处理实际挑战并支持研究产业特定问题的信息提取技术的进一步研究。

    Mar, 2024

  • GMN: 实用文档信息提取的生成式多模型网络

    该论文提出了一种面向实际场景的多模态生成方法 GMN，利用空间编码器和模态感知掩模模块处理复杂文档的噪声 OCR 结果或可变布局，并避免了字符级注释，实验证明 GMN 在公共 DIE 数据集上取得了新的最佳性能，并且在现实场景中优于其他方法。

    Jul, 2022

  • 基于空间双模态图推理的关键信息提取

    本文提出了一种旨在从文档图片中提取关键信息的端到端空间双模图形推理方法，将文档图像建模为双模图，节点编码检测到的文本区域的视觉和文本特征，边表示相邻文本区域的空间关系，并通过沿图边传播消息和推理图节点的类别来解决关键信息提取问题；进一步提供了一个新的数据集 “WildReceipt”，其中包含 25 个关键信息类别，约 69000 个文本框，并在 SROIE 和 WildReceipt 上获得了最新的最佳结果。

    Mar, 2021

  • 基于深度学习与基于规则的修正在采购文件中的关键信息提取

    本文利用深度学习和基于规则的矫正技术对采购文件中的重要信息进行提取，通过实验证明规则矫正技术对于基于深度学习的分类结果有着显著的提升。

    Oct, 2022

  • PrIeD-KIE：面向隐私保护的文件关键信息提取

    通过差分隐私、联邦学习和差分隐私联邦学习的大型预训练文档基础模型，我们介绍了开发私有键信息提取（KIE）系统的策略。通过在六个基准数据集上的广泛实验，我们证明了大型文档基础模型可以在私有环境下进行有效微调，以实现足够的性能并保持强大的隐私保证。最后，我们引入了一种名为 FeAm-DP 的新型 DP-FL 算法，它能够将全局差分隐私从独立环境有效地扩展到多客户联邦环境。总体而言，我们的研究为私有 KIE 系统的开发提供了宝贵的见解，并凸显了文档基础模型在隐私保护文档 AI 应用中的潜力。

    Oct, 2023

  • 使用生成翻译技术映射和清理开放通识知识库

    本文提出了一种基于生成式翻译的方法，通过训练语言模型，将开放式知识库映射到现有知识库的固定模式中，以此解决了开放式知识抽取中存在的问题。实验证明，该方法在传统方法和生成式知识库构建之间找到了一个甜点，并且在避免后者的相关性噪声的同时，比前者产生了更高的映射准确性。

    Jun, 2023

  • VKIE：视频文本关键信息提取应用

    从视频中提取结构化信息，是工业界许多下游应用的关键。本文定义了从视频中的视觉文本提取分层关键信息的重要任务，并介绍了名为 PipVKIE 和 UniVKIE 的两种实现解决方案。PipVKIE 逐个连续阶段完成四个子任务，而 UniVKIE 通过将所有子任务统一到一个主干中进行改进。PipVKIE 和 UniVKIE 都利用视觉、文本和坐标的多模态信息进行特征表示。在一个明确定义的数据集上进行了大量实验，证明我们的解决方案可以实现出色的性能和高效的推理速度。代码和数据集将公开提供。

    Oct, 2023

  • GenIE: 生成式信息提取

    本文介绍了 GenIE 技术，这是第一个可应用于现实场景的 autoregressive formulation 方法，通过生成文本形式的关系和实体，仅生成与预定义知识库模式一致的三元组。实验表明，GenIE 在关闭信息提取方面表现最佳，并且可以推广到相对较少的训练数据点，尺度可以扩展到以前难于管理的实体和关系数量。

    Dec, 2021