本研究提出了基于 BERT 模型的 BERTgrid 方法，将文档表示成上下文化的词片段嵌入向量网格的形式，使得其空间结构和语义信息能够被神经网络处理；将 BERTgrid 用于语义实例分割任务中，结合完全卷积网络提取发票中的字段，并展示其在表格式项目和文档头部字段提取等任务中的性能。

Sep, 2019

介绍了一种用于扫描文档表示的新方法，它可以同时编码文本、视觉和布局信息，以 3 轴张量形式用作分割模型的输入，并在考虑到视觉形式的基础上，提高了对小数据集的鲁棒性同时保持推理时间的速度，经过公共和私人文档图像数据集的测试，与最近的最先进方法相比，表现出更高的性能。

Oct, 2020

本文提出了一种基于图形表示的模型，并演示了我们不仅可以跨文档检索语义相似的信息，而且我们生成的嵌入空间也捕获了有用的语义信息，类似于仅适用于文本序列的语言模型。

Feb, 2022

采用二维视角，提出了基于字符注意力全卷积网络的场景文本识别算法，该算法在语义分割网络中采用了字符注意机制和词形成模块，在不失精度的情况下更具有鲁棒性。

Sep, 2018

本文提出 GenDoc，这是一个使用序列到序列模型进行预训练的通用文档理解模型，该模型采用编码器 - 解码器架构，可适应多种输出格式的下游任务，通过包括掩码图像令牌预测和掩码布局预测在内的多个任务进行预训练，采用分离的注意力和模态专家策略来有效地捕获每种模态利用的信息，实验结果显示，与最先进的方法相比，该模型具有更强的鲁棒性。

May, 2023

通过提出一种基于动态卷积神经网络的模型，在不需要特征工程的情况下，能够从低级别的词汇特征到高级别的语义概念逐级学习，从而有效地在文档建模任务中学习到文档的含义，同时提出一种新的可视化技术，能够提供有关文档网络学习过程的见解，产生一种引人注目的文本自动摘要系统。

Jun, 2014

本文提出了 SuperTML 方法，通过采用两维度嵌入超级字符的思想，将表格数据进行二维嵌入，然后使用 fine-tuned 二维 CNN 模型来解决分类问题。实验结果表明，该方法在大型和小型数据集上都取得了最先进的结果。

Feb, 2019

本篇论文提出了一种新型基于 transformer 的 1D 和 2D 位置感知注意力机制，实验结果表明，该模型在进行长篇文档理解时具有优势，易于基于其他基于 transformer 的架构进行扩展。

Aug, 2022

这篇研究文章介绍了一种基于 GNN 模型的文档理解框架 ——Doc2Graph，可用于处理不同类型文档的不同任务，如发票布局分析及表格识别等，旨在提高信息提取的效率。

Aug, 2022

本文提出了一种名为 Paragraph2Graph 的基于图神经网络（GNN）的模型，它能够处理多种语言，并表现出了在处理文档布局方面的出色能力，同时可以适应需要进行严格分离的业务场景。

Apr, 2023