提出了一种多粒度多模态 Transformer 模型，并引入全局语义信息与视觉重要区域进行分类，实现了对自然语义单位相干性的搜索并通过比较实验证明了模型优越性。

Sep, 2022

本论文提出了一种基于多模态 Transformer 的分层框架（LAMPreT），并通过分层预训练来训练模型，以实现对文档布局的理解及其内部内容的分类和组合，来更好地进行文本块填充和图像建议两项任务。

Apr, 2021

UDoc 是一个新的文档理解的统一预训练框架，它通过使用三个自监督损失约束表示模型，将单词和视觉特征作为输入，使神经网络从无标签的数据中学习到更好的文档表示，并取得了下游任务的提升。

Apr, 2022

本文提出了基于多任务学习和预训练技术的框架，利用文本、版面和图像的多模态信息学习通用文档表示，以支持多种下游文档任务，并在标准文档数据集上进行了广泛实验。

Sep, 2020

提取信息从简历通常被制定为一个两阶段的问题，首先对文档进行分段，然后分别处理每个段落以提取目标实体。相反，我们将整个问题分为两个层次的序列标注 —— 行和标记，并研究用于同时解决两个任务的模型架构。我们建立了英文、法文、中文、西班牙文、德文、葡萄牙文和瑞典文的高质量简历解析语料库。基于这些语料库，我们提出了实验结果，证明了所提模型在信息提取任务中的有效性，优于之前工作中引入的方法。我们对提出的架构进行了消融研究。我们还分析了模型性能和资源效率，并描述了在生产环境中部署模型的权衡。

Sep, 2023

本文研究信息提取的问题，使用大型预训练语言模型和图神经网络相结合的模型来高效地编码视觉和文本信息，并引入新的微调目标，通过使用大量未标记的领域内数据来改善领域内无监督微调。我们在真实世界的发票和简历数据集上进行了实验，并表明所提出的方法在发票上的绝对 F1 比强文本基线高出 6.3％ ，在简历中 F1 绝对值增加了 4.7％。在少数样本情况下，我们的方法需要比基线少 30 倍的批注数据才能在约 90％的 F1 达到相同的性能水平。

May, 2020

本论文介绍一种划时代的多模态、多任务、多教师关节粒度知识蒸馏模型，用于视觉丰富型表单文件的理解。该模型旨在通过促进标记和实体表示之间微妙的相关性，从细粒度和粗粒度层面的洞察中获取 in design，从而解决表单文件中的复杂性问题。此外，我们引入了新的相互粒度损失函数和交叉粒度损失函数，以进一步优化多教师知识蒸馏的传递过程，呈现出分布差异和对表单文件的协调理解。通过全面评估公开可用的表单文件理解数据集，我们提出的模型始终优于现有基准线，在处理视觉复杂表单文件的复杂结构和内容方面展示其功效。

Feb, 2024

该研究介绍了一种深度学习模型，针对文档信息分析进行了定制，强调文档分类、实体关系提取和文档视觉问答。该模型利用基于变换器的模型来编码文档图像中的所有信息，包括文本、视觉和布局信息。该模型在预训练阶段加入了三个附加任务，并通过集体预训练方案考虑了所有任务的损失。通过在不同数据集上进行预训练和微调任务，该模型在所有任务上取得了令人印象深刻的结果，对于文档分类的准确率达到了 95.87%，实体关系提取的 F1 得分分别为 0.9306、0.9804、0.9794 和 0.8742，文档视觉问答的 ANLS 得分为 0.8468，结果凸显了该模型在理解和解释复杂文档布局和内容方面的有效性，使其成为文档分析任务的有希望的工具。

Oct, 2023

本文介绍了一个基于深度学习的半自动化命名实体识别系统，重点关注 IT 领域的简历识别。通过注释五个不同 IT 领域的员工简历，使用六个基于 transformer 的预训练模型，实现了可以识别八种不同实体类型的系统，在测试集上最佳的表现是 RoBERTa 模型。

Jun, 2023

我们提出了一种可按需组装的预训练工具箱，即通用编码器表示（UER），通过 UER，我们建立了一个模型动物园，其中包含基于不同语料库，编码器和目标（目标）的预训练模型，使用适当的预训练模型，我们可以在一系列下游数据集上实现新的最先进结果。

Sep, 2019