本研究提出了一个新的数据集用于处理噪声扫描文档中的表单理解 (FUNSD)，旨在提取和结构化表单的文本内容。该数据集包含 199 个真实，完全注释的扫描表单。研究证明这是第一个可公开获取的具有详尽注释来处理表单理解任务的数据集。此外，研究者还提出了一组基线和指标来评估 FUNSD 数据集的性能，该数据集可以从链接下载。

May, 2019

通过深度神经网络，结合多级注意力 U-Net 结构和部分强度场、部分关联场的联合性实现形式理解中的实体检测和链接预测，有效地提升了文档形式理解任务的表现，尤其是在 FUNSD 数据集上的表现优于原始模型和现有基准。

Jun, 2021

本文提出了一种新的任务：层次化重建多页文档的语义结构，并介绍了基于编码 - 解码结构的层次性文档结构分析系统 (DSPS) 来解决该问题。通过采用多模式双向编码器和结构感知 GRU 解码器，以及软屏蔽操作，DSPS 模型的表现优于基线方法。此外，作者还构建了一个大规模数据集 HRDoc，并公开发布。

Mar, 2023

我们提出了一种新的 F1 度量标准来评估表单解析器，并描述了一种适用于 Visually Rich Form Understanding 的内容不可知的基于树的注释方案：TreeForm。我们提供了将以前的注释方案转换为 TreeForm 结构并使用归一化树编辑距离的修改版本来评估 TreeForm 预测的方法。我们在 FUNSD 和 XFUND 数据集上分别得到了 61.5 和 26.4 的 end-to-end 性能评估和 TreeForm 编辑距离的初始基线。我们希望 TreeForm 可以促进对表单类文档注释、建模和评估复杂性的深入研究。

Feb, 2024

本文提出一种名为 StrucTexT 的统一框架，该框架使用 transformer 构建了一个段 - 标记对齐的编码器来处理文档上下文中不同层面的实体标记和链接任务，并使用三个自监督任务设计了一种新颖的预训练策略，以有效地提取多模态信息，从而优于 FUNSD，SROIE 和 EPHOIE 数据集的现有方法。

Aug, 2021

本文提出一个名为 VRDU 的用于评价文档中网络结构、多样的数据类型以及丰富的模板和布局等不同因素综合作用的数据集，并在此基础上设计实验模型，评估文档中结构化数据提取的性能。作者发现，此类任务中面对新模板挑战较大，而针对该问题，本文也提出了一种 few-shot learning 的方法。

Nov, 2022

本研究提出了一种名为 Fonduer 的机器学习 KBC 系统，它通过新的数据模型和深度学习模型，自动捕捉不同模态信息的特征，并利用 Fonduer 的编程模型，将领域专业知识转化为有效的监督信号，以提高知识库构建的效率和质量。与专家编辑的公共知识库相比，Fonduer 的质量平均提高了 41 个 F1 点，并且在某些情况下产生了 1.87 倍的正确条目。

Mar, 2017

本论文介绍一种划时代的多模态、多任务、多教师关节粒度知识蒸馏模型，用于视觉丰富型表单文件的理解。该模型旨在通过促进标记和实体表示之间微妙的相关性，从细粒度和粗粒度层面的洞察中获取 in design，从而解决表单文件中的复杂性问题。此外，我们引入了新的相互粒度损失函数和交叉粒度损失函数，以进一步优化多教师知识蒸馏的传递过程，呈现出分布差异和对表单文件的协调理解。通过全面评估公开可用的表单文件理解数据集，我们提出的模型始终优于现有基准线，在处理视觉复杂表单文件的复杂结构和内容方面展示其功效。

Feb, 2024

本论文提出了 R2F 框架来解决 DOCLNI 的主要挑战：可解释性、长跨度依赖和跨句子推理，并支持多样化的证据检索方法，为每个假设语句从前提中检索出相应的证据语句并进行可信度评估，最后将句子级的结果融合来判断文档之间的关系，实验结果表明 R2F 框架可以获得最先进的性能，而且可以给出更可解释的预测结果。

Oct, 2022

我们提出了使用统一语义话语结构（S3）来表示文档语义的方法，通过将文档级修辞结构理论（RST）树和句级抽象意义表示（AMR）图结合起来构建 S3 图，实现对文档语义的准确捕捉。我们还设计了一个标题生成框架，其中 S3 图被编码为上下文特征，并且通过一种分层结构修剪机制来动态筛选图中的冗余和非必要的节点，实验证明我们的方法在两个标题生成数据集上持续优于现有的最新方法。

Mar, 2024