LayoutLMv2提出了一种新的预训练架构，通过在一个多模态框架中建模文本、布局和图像之间的交互以及整合空间感知自注意机制，在预训练阶段更好地捕获跨模态交互，实现在FUNSD，CORD，SROIE，Kleister-NDA，RVL-CDIP和DocVQA等下游视觉丰富的文档理解任务上新的最先进结果。

Dec, 2020

我们提出了基于mPLUG-Owl的mPLUG-DocOwl，通过联合训练语言、视觉和文档指令调优数据集的统一指令调优策略，增强了OCR-free文档理解能力，并构建了用于比较模型能力的OCR-free文档指令理解评估集LLMDoc。实验结果表明，我们的模型优于现有的多模型模型，在不同下游任务上具有良好的泛化能力。

Jul, 2023

通过小型的预训练图像到文本模型，我们在像素级视觉语言理解的端到端模型中学习选择性文本或布局识别和推理，取得了在信息图表、扫描文档和图像三个视觉文档理解基准中的一致性改进，超过直接预测答案的相似 Pix2Struct 模型 4% 以上。

Nov, 2023

DocPedia是一种新型的大型多模态模型，用于OCR-free文档理解，能够处理高分辨率图像。通过在频域而不是像素空间中直接处理视觉输入，DocPedia能够利用有限数量的视觉标记捕捉更多的视觉和文本信息。通过开发双阶段训练策略和丰富的训练任务指导/注释，我们不断增强模型的感知和理解能力，实验证实了联合学习感知和理解任务的互利益。结果进一步证明了我们的DocPedia相比其他方法的有效性和优越性能。

Nov, 2023

研究论文通过设计DocLLM模型，结合文本语义和空间布局，以有效地理解企业文件的丰富语义，摆脱昂贵的图像编码器，侧重于使用边界框信息来处理不规则布局和异构内容的视觉文件，通过预训练和微调，优于当前最优模型在多个任务中的性能，并且对于先前未见过的数据集具有较好的泛化能力。

Dec, 2023

利用结构信息提升多模态大型语言模型在视觉文档理解中的性能，通过构建一种新的统一结构学习方法，设计了一个简单而有效的H-Reducer视觉到文本模块，并构建了相应的训练数据集和细致解释能力的推理调优数据集，提升了视觉文档理解基准任务的性能。

Mar, 2024

本文提出了LayoutLLM，一种更灵活的文档分析方法，用于理解图像化文档。通过利用现有研究在文档图像理解和大规模语言模型的优势，通过与多模态指令数据集进行微调，提出的模型在单个模型中执行对文档图像的理解，并通过实验证明在各种文档分析任务中改进了基线模型。

Mar, 2024

本研究提出了一种基于LLM / MLLM的文档理解方法LayoutLLM，核心是一种专门设计的布局指令调整策略，通过布局感知的预训练和布局感知的监督微调来提高对文档布局的理解和利用，同时使用LayoutCoT模块来生成准确答案并提升文档理解的性能。

Apr, 2024

通过将OCR派生文本和空间布局与大型语言模型（LLM）相结合，并在LayTextLLM中交织布局和文本，可以显著提高文档理解任务的效果。LayTextLLM在布局和文本数据的交互中简化了操作，并在关键信息提取（KIE）和视觉问答（VQA）方面展示出更好的性能。

Jul, 2024

本文解决了文本丰富文档理解中的效率和效果问题，提出了DocLayLLM，这是一种专为文档理解设计的多模态大语言模型扩展。通过将视觉补丁令牌和二维位置令牌集成到大语言模型中，结合链式思维技术，本研究展示了DocLayLLM在训练设置轻量化的情况下，能够显著提升文档理解能力，超越传统的OCR依赖方法和无OCR竞争者。

Aug, 2024