Jul, 2023

PPN：用于复杂布局的并行指针网络的关键信息提取

PDF
TL;DR提出了一个挑战性的多模态任务：关键信息提取 (Key Information Extraction)，旨在从视觉丰富的文档中提取结构化的值语义实体。通过引入一种新的大规模人工标注数据集，名为复杂布局表单 (CLEX)，该数据集包括 5,860 个图像和 1,162 个语义实体类别，以解决现有数据集布局相对固定且语义实体类别有限的问题。通过引入一种名为 Parallel Pointer-based Network (PPN) 的端到端模型，用于零样本和小样本场景，解决了现有方法在错误传播和未知语义实体类别问题上的困难。CLEX 数据集上的实验证明，PPN 在推理速度方面表现出色，并且优于现有的最先进方法。
key information extractionmultimodal taskstructured value semantic entitiescomplex layout formparallel pointer-based network
发现论文，激发创造
  • 使用改进的图学习卷积网络从文档中提取关键信息的 PICK 技术

    该文介绍了使用图形学习与图形卷积操作相结合的 PICK 框架，以处理 KIE 中复杂文档布局，从而获得包含文本和视觉特征和全局布局的更丰富的语义表示，并通过实验表明了该方法的性能优于基线方法。

    Apr, 2020

  • 用于命名实体识别的并行实例查询网络

    提出了 Parallel Instance Query Network (PIQN)，并将标签分配视为基于 Linear Assignment Problem (LAP) 的一对多问题，通过全局可学习实例查询并行提取命名实体，取得了比之前最先进的模型更好的表现。

    Mar, 2022

  • ProtoNER: 基于原型网络的命名实体识别的小样本增量学习

    ProtoNER 是一种基于原型网络的端到端的 KVP 提取模型，允许在现有模型中添加新的类别，并且只需要很少数量的新注释样本。

    Oct, 2023

  • Kleister：涉及复杂版式的长文档关键信息抽取数据集

    引入了 Kleister NDA 和 Kleister Charity 两组数据集，综合文本和结构排版特征去识别和推理各种类型的实体，包括机构、人物和时间等，通过对 Flair、BERT、RoBERTa、LayoutLM 和 LAMBERT 等多个 KIE 领域基线系统的测试，得出我们的数据集对于现有模型具有很强的挑战性，并提供数据集以促进更深入和复杂的信息提取任务。

    May, 2021

  • SimCKP：关键短语表示的简洁对比学习

    我们提出了一个简单的对比学习框架 SimCKP，它由两个阶段组成：1）一个提取器 - 生成器，通过对比学习的方式学习上下文感知的短语级表示，同时生成不出现在文档中的关键短语；2）一个重新排序器，通过将生成的短语的表示与相应的文档对齐来调整每个短语的得分。在多个基准数据集上的实验结果证明了我们提出的方法的有效性，其性能明显优于现有的模型。

    Oct, 2023

  • 使用句法特征改进联合层 RNN 关键词提取

    本研究旨在提高从印尼 Twitter 数据中提取关键词的精确度，使用句法特征等额外信息修改 JRNN 模型的输入层提取多个关键词序列，并使用数据增强方法增加训练示例。在实验证明该方法优于基线方法，精度和 F1 分别达到 0.9597 和 0.7691。

    Sep, 2020

  • LucidPPN：用户中心可解释计算机视觉的明确范例部分网络

    使用深度学习与基于案例推理的权力，原型部分网络使决策准确且可解释，通过以训练图像的补丁表示每个原型部分，但单个图像补丁包含多个视觉特征，如颜色、形状和纹理，使用户难以确定模型重要的特征。为减少此模糊性，引入了 Lucid Prototypical Parts Network (LucidPPN), 一种新颖的原型部分网络，将颜色原型与其他视觉特征分离。我们的方法采用两个推理分支：一个用于非颜色视觉特征，处理灰度图像，另一个专注于颜色信息。通过此分离，我们可以澄清模型决策是基于颜色、形状还是纹理。此外，LucidPPN 识别对应于分类对象的语义部分的原型部分，使数据类之间的比较更加直观，例如，当两个鸟类主要在于腹部颜色不同时。我们的实验表明，这两个分支是互补的，并且共同实现了与基准方法相当的结果。更重要的是，LucidPPN 生成的原型部分模糊性较小，增强用户理解。

    May, 2024

  • 基于类别图的弱监督少样本学习的原型传播网络 (PPN)

    本文介绍一种基于原型传播网络 (PPN) 的元学习方法来改善少样本分类任务的性能，该方法可以使用粗标签进行弱监督，通过原型在类别图上的传播来学习注意机制以实现不同少样本任务上的高准确率。

    May, 2019

  • Kleister：一项涉及长文档和复杂布局的信息提取新任务

    本文提出 Kleister 任务以解决长正式文档的信息提取问题，考虑了文本和结构布局特征，并使用 Flair、BERT 和 RoBERTa 等具有不同实体识别体系结构的 pipeline 方法作为文本基准线，同时分析了 pdf2djvu、Tesseract 和 Textract 等常用 PDF 处理工具在 IE 系统中引入错误的行为。

    Mar, 2020

  • GenKIE：鲁棒的生成多模态文档关键信息抽取

    提出了一种名为 GenKIE 的新型生成式端到端模型，利用多模态编码器嵌入视觉、版面布局和文本特征，并利用解码器生成所需的输出，从而解决了来自扫描文档的关键信息抽取任务。实验证明 GenKIE 能够有效泛化到不同类型的文档，并在 OCR 错误方面表现出鲁棒性，因此在实际场景中具有广泛的应用前景。

    Oct, 2023