EMNLPAug, 2021

LayoutReader：用于阅读顺序检测的文本和布局预训练

PDF
TL;DR本论文提出了一个读取顺序检测系统，使用深度学习和基于 seq2seq 模型的 LayoutReader，对包含 500,000 份文档的 ReadingBank 数据库进行了测试，并提高了开源和商业 OCR 引擎的文本顺序识别能力。
reading order detectiondeep learning modelsbenchmark datasetlayoutreaderocr engines
发现论文，激发创造
  • PubLayNet：有史以来最大的文档布局分析数据集

    本文提出了 PubLayNet 数据集用于文档布局分析，并证明基于该数据集的深度神经网络模型可以准确地识别科学文章的布局。

    Aug, 2019

  • 通过稀疏图分割实现非受控条件下的文本阅读顺序

    本文提出了一种轻量、可扩展和通用的方法，通过运行在稀疏布局基础图上的多模态、多任务图卷积网络（GCN）来识别文本阅读顺序，并使用后处理聚类和排序算法生成所有文本行的有序序列。

    May, 2023

  • LayoutLM: 文本和布局的文档图像理解预训练

    本文提出了用于扫描文档图像的 LayoutLM 模型，实现了文本和布局信息的联合学习，将其应用于信息提取等实际文档图像理解任务中，成果在多项下游任务中达到最新的技术水平，代码和预训练模型可公开获取。

    Dec, 2019

  • 通过布局结构建模增强视觉丰富文档的理解

    我们提出了 GraphLayoutLM 模型，它利用布局结构图的建模将文档布局知识注入模型，使得模型能够理解文本元素的空间排列，以提高文档的理解能力，并在 FUNSD、XFUND 和 CORD 等基准测试中取得了最先进的结果。

    Aug, 2023

  • 具有布局感知能力的基于预训练语言模型的视觉丰富文档信息抽取方法

    本文研究信息提取的问题，使用大型预训练语言模型和图神经网络相结合的模型来高效地编码视觉和文本信息，并引入新的微调目标，通过使用大量未标记的领域内数据来改善领域内无监督微调。我们在真实世界的发票和简历数据集上进行了实验，并表明所提出的方法在发票上的绝对 F1 比强文本基线高出 6.3％ ，在简历中 F1 绝对值增加了 4.7％。在少数样本情况下，我们的方法需要比基线少 30 倍的批注数据才能在约 90％的 F1 达到相同的性能水平。

    May, 2020

  • LAMBERT: 面向布局的（语言）建模用于信息提取

    在 OCR 系统获取的布局特征的基础上，改进 Transformer 编码器的结构来构建布局感知的语言模型，展示在信息提取方面的出色性能。

    Feb, 2020

  • 具有复杂布局的历史日本文件大型数据集

    本文介绍了一种使用 HJDataset 的深度学习方法，可以准确地分析历史日文文档的布局并提取内容。该数据集包含 250,000 多个布局元素注释和基于半规则的方法构建，旨在提供深度学习模型的基准性能分析。

    Apr, 2020

  • XYLayoutLM：面向布局感知的多模态网络，用于视觉丰富的文档理解

    本论文提出了一种名为 XYLayoutLM 的鲁棒的布局感知多模态网络，它可以从通过 Augmented XY Cut 生成的正确阅读顺序中捕获和利用丰富的布局信息，并且提出了一种扩展有条件位置编码模块来处理变长输入序列，同时从文本和视觉模态中提取局部布局信息生成位置编码，并在文档理解任务上取得了竞争性的结果。

    Mar, 2022

  • RanLayNet：一种用于领域自适应和泛化的文档布局检测数据集

    为了解决有限多样性数据集对深度学习模型的影响问题，我们引入了一个包含空间位置、范围和布局元素类型的标签的合成文档数据集 RanLayNet。经过实验证明，使用我们的数据集训练的深度布局识别模型相比仅使用实际文档训练的模型表现更优。此外，我们通过对 Doclaynet 数据集使用 PubLayNet 和 IIIT-AR-13K 数据集的微调模型进行比较分析，发现使用我们的数据集进行增强的模型在科学文档领域的 TABLE 类任务中取得了 0.398 和 0.588 的 mAP95 分数。

    Apr, 2024

  • LayoutLMv2: 多模态预训练用于视觉丰富的文档理解

    LayoutLMv2 提出了一种新的预训练架构，通过在一个多模态框架中建模文本、布局和图像之间的交互以及整合空间感知自注意机制，在预训练阶段更好地捕获跨模态交互，实现在 FUNSD，CORD，SROIE，Kleister-NDA，RVL-CDIP 和 DocVQA 等下游视觉丰富的文档理解任务上新的最先进结果。

    Dec, 2020