LayoutLMv2提出了一种新的预训练架构，通过在一个多模态框架中建模文本、布局和图像之间的交互以及整合空间感知自注意机制，在预训练阶段更好地捕获跨模态交互，实现在FUNSD，CORD，SROIE，Kleister-NDA，RVL-CDIP和DocVQA等下游视觉丰富的文档理解任务上新的最先进结果。

Dec, 2020

本论文提出了一种基于多模态Transformer的分层框架（LAMPreT），并通过分层预训练来训练模型，以实现对文档布局的理解及其内部内容的分类和组合，来更好地进行文本块填充和图像建议两项任务。

Apr, 2021

本文提出了一种基于LayoutXLM的多模态预训练模型，用于多语言文档理解，并在名为XFUND的多语言表单理解基准数据集上进行了验证，结果表明LayoutXLM模型在跨语言预训练方面优于现有的SOTA模型。

Apr, 2021

提出了ERINIE-Layout，一种新颖的以布局知识增强的文档预训练解决方案，通过整个工作流程来学习将文本、布局和图像特征结合起来的更好表现，以及如何在文档中学习适当的阅读顺序。实验结果表明，ERNIE-Layout在各种下游任务上取得了卓越的性能，成为关键信息提取、文档图像分类和文档问答数据集的新的最先进技术，且代码和模型公开。

Oct, 2022

本论文旨在改进文本布局交互，提出了一种新的多模态预训练模型LayoutMask，该模型使用本地1D位置作为布局输入，并具有两个预训练目标：掩码语言建模和掩码位置建模，LayoutMask可以增强文本和布局模态之间的交互，并为下游任务生成自适应和鲁棒的多模态表示。

May, 2023

我们提出了GraphLayoutLM模型，它利用布局结构图的建模将文档布局知识注入模型，使得模型能够理解文本元素的空间排列，以提高文档的理解能力，并在FUNSD、XFUND和CORD等基准测试中取得了最先进的结果。

Aug, 2023

研究论文通过设计DocLLM模型，结合文本语义和空间布局，以有效地理解企业文件的丰富语义，摆脱昂贵的图像编码器，侧重于使用边界框信息来处理不规则布局和异构内容的视觉文件，通过预训练和微调，优于当前最优模型在多个任务中的性能，并且对于先前未见过的数据集具有较好的泛化能力。

Dec, 2023

本文提出了LayoutLLM，一种更灵活的文档分析方法，用于理解图像化文档。通过利用现有研究在文档图像理解和大规模语言模型的优势，通过与多模态指令数据集进行微调，提出的模型在单个模型中执行对文档图像的理解，并通过实验证明在各种文档分析任务中改进了基线模型。

Mar, 2024

本研究提出了一种基于LLM / MLLM的文档理解方法LayoutLLM，核心是一种专门设计的布局指令调整策略，通过布局感知的预训练和布局感知的监督微调来提高对文档布局的理解和利用，同时使用LayoutCoT模块来生成准确答案并提升文档理解的性能。

Apr, 2024

通过将OCR派生文本和空间布局与大型语言模型（LLM）相结合，并在LayTextLLM中交织布局和文本，可以显著提高文档理解任务的效果。LayTextLLM在布局和文本数据的交互中简化了操作，并在关键信息提取（KIE）和视觉问答（VQA）方面展示出更好的性能。

Jul, 2024