ACLMar, 2019

从视觉丰富文档中提取多模态信息的图卷积

PDF
TL;DR本文提出了一种基于图卷积的模型来将文本和视觉信息相结合以实现对视觉丰富的文档中实体抽取的方法，并通过实验证明了所提出的模型在两个真实数据集上的性能远优于 BiLSTM-CRF 模型。
visually rich documentsinformation extractiongraph convolutionentity extractionablation studies
发现论文，激发创造
  • 具有布局感知能力的基于预训练语言模型的视觉丰富文档信息抽取方法

    本文研究信息提取的问题，使用大型预训练语言模型和图神经网络相结合的模型来高效地编码视觉和文本信息，并引入新的微调目标，通过使用大量未标记的领域内数据来改善领域内无监督微调。我们在真实世界的发票和简历数据集上进行了实验，并表明所提出的方法在发票上的绝对 F1 比强文本基线高出 6.3％ ，在简历中 F1 绝对值增加了 4.7％。在少数样本情况下，我们的方法需要比基线少 30 倍的批注数据才能在约 90％的 F1 达到相同的性能水平。

    May, 2020

  • 使用图卷积网络对文本建模用于跨模态信息检索

    本研究提出了一种基于图的文本建模方法和双向神经网络模型，用于跨模态信息检索，结合卷积神经网络和 Graph Convolutional Network，通过相似度度量，并采用成对相似度损失函数训练模型，在准确率提升了 17％的前提下，成为了最先进的方法。

    Feb, 2018

  • 基于场景文本的细粒度图像分类与检索的多模态推理图

    本文采用图卷积网络结合场景文本实例和显著图像区域进行多模态推理，在 Con-Text 和 Drink Bottle 数据集中，在细粒度图像分类和图像检索任务中显著优于之前的最新技术。

    Sep, 2020

  • VisualWordGrid: 多模态途径提取扫描文档信息

    介绍了一种用于扫描文档表示的新方法，它可以同时编码文本、视觉和布局信息，以 3 轴张量形式用作分割模型的输入，并在考虑到视觉形式的基础上，提高了对小数据集的鲁棒性同时保持推理时间的速度，经过公共和私人文档图像数据集的测试，与最近的最先进方法相比，表现出更高的性能。

    Oct, 2020

  • 基于文本和图像的多模态深度网络文档分类

    本文介绍了一种多模态神经网络，结合了 OCR 提取的文本和图像信息，来对文献图像进行分类。该方法在 Tobacco3482 和 RVL-CDIP 数据集上的准确率提高了 3%。

    Jul, 2019

  • GVdoc：基于图形的视觉文档分类

    GVdoc 是一种基于图的文件分类模型，通过生成文档图并使用图神经网络学习节点和图嵌入，在保持良好性能的同时，比同类模型更好地解决了处理识别图形文档的挑战，能够在识别数据稀疏的情况下表现出色。

    May, 2023

  • 在信息丰富的文档中以依赖解析的方式提取实体关系

    本文使用 biaffine 解析模型，通过布局信息提取视觉信息中的实体关系，成功运用于生产环境。

    Oct, 2021

  • VD-GR: 提升视觉对话的层叠时空多模式图

    我们提出了一种新颖的可视对话模型 V D-G R，它将预训练语言模型与图神经网络相结合，通过空间 - 时间多模式 GNN 和 BERT 层之间的交替集成机制，实现图像、问题和对话历史三个模态的特征处理，并在实验证明 VD-GR 在四个数据集上都达到了最新的最优结果。

    Oct, 2023

  • 基于 LayoutLMv3 的增强关系抽取模型在视觉丰富文档中的应用

    通过对 FUNSD 和 CORD 数据集上进行的广泛剖析研究及对 LayoutLMv3 的初始化，我们提出了一个模型，用于在视觉丰富的文档中进行关系抽取，其结果超过了当前行业的最佳效果，且没有特定的预训练任务和较少的参数。

    Apr, 2024

  • 多模态图神经网络用于视觉场景联合推理

    利用多模式图神经网络（MM-GNN）作为一种视觉问答（VQA）方法，通过将图像表示为由三个子图组成的图形，利用场景文本中的各种信息来提高节点特征，从而显著提高需要阅读场景文本的两项 VQA 任务的性能。

    Mar, 2020