DocGraphLM: 信息提取的文档图谱语言模型

SIGIRJan, 2024

DocGraphLM: 信息提取的文档图谱语言模型

DocGraphLM: Documental Graph Language Model for Information Extraction

Dongsheng Wang, Zhiqiang Ma, Armineh Nourbakhsh, Kang Gu, Sameena Shah

TL;DR该研究论文介绍了一种名为 DocGraphLM 的新型框架，它结合了预训练语言模型和图形语义，通过使用联合编码器架构来表示文档，并采用一种新颖的链接预测方法来重构文档图。DocGraphLM 通过采用图形特征，在信息提取和问答任务中持续改善了目标性能，并且提供了在训练过程中加速收敛的优点。

Abstract

Advances in visually rich document understanding (VrDU) have enabled information extraction and question answering over documents with complex layouts. Two tropes of architectures have emerged -- transformer-based model

visually rich document understanding transformer-based models graph neural networks docgraphlm graph features

发现论文，激发创造

通过词汇将 Dr.E 桥接大型语言模型的图表

我们介绍了一个创新的、端到端的模态对齐框架，配备了一个预训练的 Dual-Residual Vector Quantized-Variational AutoEncoder (Dr.E)。该框架专门设计用于促进与 LLMs 的令牌级对齐，实现了将图的内在 ' 语言 ' 转化为可理解的自然语言。我们在标准的 GNN 节点分类任务上进行了实验证明，与其他最先进的方法相比，我们的框架具有竞争力的性能。此外，我们的框架确保了可解释性、效率和鲁棒性，并在微调和少样本设置下进一步验证了其有效性。这项研究标志着首次成功实现了 GNNs 和 LLMs 之间的令牌级对齐。

Jun, 2024

图形语言模型

图形语言模型（GLM）集成了线性文本模型（LM）和图神经网络（GNN）的优点，同时减轻它们的弱点，在有监督和零样本情况下，在概念网络的关系分类任务上超过了基于 LM 和 GNN 的基线。

Jan, 2024

通过布局结构建模增强视觉丰富文档的理解

我们提出了 GraphLayoutLM 模型，它利用布局结构图的建模将文档布局知识注入模型，使得模型能够理解文本元素的空间排列，以提高文档的理解能力，并在 FUNSD、XFUND 和 CORD 等基准测试中取得了最先进的结果。

Aug, 2023

图注意力网络实现的对比文档表征学习

本文提出使用图注意力网络在可用的预训练 Transformer 模型之上来学习文档嵌入，并基于该模型设计简单的对比学习策略，在大量无标签语料库上预训练模型。经验证明，我们的方法在文档分类和文档检索任务中是有效的。

Oct, 2021

自然语言就是图的应有之义

我们提出了 InstructGLM（指导调整的图语言模型），基于自然语言说明系统地设计高度可扩展的提示，使用自然语言描述图的几何结构和节点特征，通过指导调优语言模型以一种生成方式在图上执行学习和推理，超过了所有竞争的 GNN 基准数据集，证明了我们方法的有效性，并为将生成语言模型替代 GNN 作为图机器学习的基础模型提供了启示。

Aug, 2023

GraphEdit: 大规模语言模型用于图结构学习

通过使用大型语言模型来学习图结构数据中的复杂节点关系，GraphEdit 方法无论在去噪连接还是从全局角度识别节点依赖方面都提供了全面的图结构理解，有效克服了显式图结构信息的局限性，增强了图结构学习的可靠性。

Feb, 2024

大规模语言模型对图的调查

通过综述最新的最先进的用于图学习的大型语言模型，我们引入了一种新的分类方法，详细阐述了四种独特的设计，并探讨了每种框架的优势和局限性，同时强调了未来研究的潜在方向。

May, 2024

GVdoc：基于图形的视觉文档分类

GVdoc 是一种基于图的文件分类模型，通过生成文档图并使用图神经网络学习节点和图嵌入，在保持良好性能的同时，比同类模型更好地解决了处理识别图形文档的挑战，能够在识别数据稀疏的情况下表现出色。

May, 2023

基于图注意力网络的多模态预训练在文档理解中的应用

本文提出了一种基于多模态图注意力机制的图文结合的自动文档分析模型 (GraphDoc)，该模型利用文本、布局和图像信息进行多模态预训练，并通过门控融合层对每个节点进行多模态特征融合，通过图注意层建模每个节点之间的上下文关系，学习了仅使用 320k 未标注文档的通用表示，在公共数据集上获得了最先进的性能。

Mar, 2022

融合文档关系图的神经主题建模

本文介绍了一种名为 Graph Topic Model (GTM) 的基于图形神经网络 (GNNs) 的神经主题模型，通过信息交互捕捉图形节点之间的关系，将文档和词汇转化成为图中的节点，并根据共现性连接，通过图卷积汇聚邻居节点信息从而通过共享单词在文档之间建立关系，扩充了文档的主题的表达方式。研究者还基于三个数据集开展了广泛的实验，其结果证明了这种方法的有效性。

Sep, 2020