AAAIAug, 2021

BROS: 一个针对文本和排版的预训练语言模型，用于更好地从文档中提取关键信息

PDF
TL;DR提出一种名为 BROS（BERT Relying On Spatiality）的预训练语言模型，重点在于将文字和布局有效组合起来，通过对文档中文字的相对位置进行编码以学习二维空间中的文本语义和布局，并利用面积屏蔽策略从未标记文档进行优化训练。BROS 表现出与其他方法相当甚至更好的性能，解决了两个实际的关键信息提取问题：减少文本顺序错误和使用较少的下游示例进行高效学习。
key information extractiondocument imagespre-trained language modelbros2d space
发现论文，激发创造
  • LAMBERT: 面向布局的（语言）建模用于信息提取

    在 OCR 系统获取的布局特征的基础上，改进 Transformer 编码器的结构来构建布局感知的语言模型，展示在信息提取方面的出色性能。

    Feb, 2020

  • 具有布局感知能力的基于预训练语言模型的视觉丰富文档信息抽取方法

    本文研究信息提取的问题，使用大型预训练语言模型和图神经网络相结合的模型来高效地编码视觉和文本信息，并引入新的微调目标，通过使用大量未标记的领域内数据来改善领域内无监督微调。我们在真实世界的发票和简历数据集上进行了实验，并表明所提出的方法在发票上的绝对 F1 比强文本基线高出 6.3％ ，在简历中 F1 绝对值增加了 4.7％。在少数样本情况下，我们的方法需要比基线少 30 倍的批注数据才能在约 90％的 F1 达到相同的性能水平。

    May, 2020

  • LAMPRET：面向布局的多模态文档预训练理解

    本论文提出了一种基于多模态 Transformer 的分层框架（LAMPreT），并通过分层预训练来训练模型，以实现对文档布局的理解及其内部内容的分类和组合，来更好地进行文本块填充和图像建议两项任务。

    Apr, 2021

  • 从文本中学习关键词的丰富表示

    本文研究如何训练针对文本文档中关键短语的任务特定语言模型，通过使用不同的掩码策略在区分性和生成性环境下对预训练变压器语言模型进行实验，并提出新的预训练目标 - 关键短语边界填充替换（KBIR），用于关键短语提取，与现有最佳方法相比，能够提高 8.16 个 F1 分数；此外，还提出了适用于 BART 的新的预训练设置 - KeyBART，能够在 CatSeq 格式中重现与输入文本相关的关键短语，用于关键短语生成，并能比现有最佳方法提高 4.33 个 F1M 分数。最后，对预训练语言模型进行细微调整，用于命名实体识别，问答，关系抽取，编写摘要等，达到了与现有最佳方法可比的性能，表明学习关键短语的丰富表达对于许多其他基础的自然语言处理任务是有益的。

    Dec, 2021

  • 使用特定的预训练任务提高商业文件信息提取

    在这篇论文中，我们使用了一种预先训练在商业文件集合上的语言模型 LayoutLM，并引入了两个新的预训练任务，进一步提高其提取相关信息的能力。第一个任务旨在更好地理解文档的复杂布局，第二个任务侧重于数字值及其数量级。通过这些任务，模型可以学习到更好上下文化的扫描文档表示。我们还引入了一种新的后处理算法，用于解码信息提取中的 BIESO 标签，对于复杂实体的处理效果更好。我们的方法显著提高了对公共数据集（从 93.88 提高到 95.50 F1 得分）和私有数据集（从 84.35 提高到 84.84 F1 得分）中的支出收据、发票和采购订单的提取性能。

    Sep, 2023

  • ERNIE-Layout：基于排版知识增强的视觉化文档理解预训练

    提出了 ERINIE-Layout，一种新颖的以布局知识增强的文档预训练解决方案，通过整个工作流程来学习将文本、布局和图像特征结合起来的更好表现，以及如何在文档中学习适当的阅读顺序。实验结果表明，ERNIE-Layout 在各种下游任务上取得了卓越的性能，成为关键信息提取、文档图像分类和文档问答数据集的新的最先进技术，且代码和模型公开。

    Oct, 2022

  • LayoutLM: 文本和布局的文档图像理解预训练

    本文提出了用于扫描文档图像的 LayoutLM 模型，实现了文本和布局信息的联合学习，将其应用于信息提取等实际文档图像理解任务中，成果在多项下游任务中达到最新的技术水平，代码和预训练模型可公开获取。

    Dec, 2019

  • 知其所在，知其所含：面向文档理解的统一词块预训练

    本文提出了一种名为 UTel 的基于文本和布局的统一预训练语言模型，它通过两个预训练任务，使用裁剪的相对位置嵌入来处理文档布局的关系，能够无需图像模态高效处理任意长度序列，且在多个下游任务上取得了优越表现。

    Jul, 2022

  • ImageBERT：利用大规模弱监督图像 - 文本数据的跨模态预训练

    本文提出了一种新的视觉 - 语言预训练模型 ——ImageBERT，用于图像 - 文本联合嵌入，该模型基于 Transformer，可以将不同的模态作为输入，并建模它们之间的关系。通过多阶段的预训练策略，可以提高预训练质量，最终在图像检索和文本检索任务上获得了新的最先进结果。

    Jan, 2020

  • 语言模型作为知识库吗？

    通过对预训练语言模型的深入分析，我们发现未经微调的 BERT 模型竞争传统 NLP 方法的关系知识，可以根据开放式关系进行查询，某些类型的事实知识比标准语言模型预训练方法更容易学习，并可以作为无监督的开放式 QA 系统的潜力展现。

    Sep, 2019