现有的视觉信息提取方法通常将从表单样式文档中提取信息的过程分解为不同的子任务，我们提出了一种新的视角，将其重新定义为关系预测问题，并统一了不同任务的标签，以解决表单文档中的层次关系。我们提出的统一模型 UniVIE 通过构建树提案和关系解码模块来全面解决视觉信息提取问题，通过引入树注意力掩码和树级别嵌入来增强关系预测能力。在我们的数据集 HierForms 和公开数据集 SIBR 上进行的广泛实验评估证明了我们方法达到了最先进的结果，突显了我们统一方法在推进视觉信息提取领域的有效性和潜力。

Jan, 2024

该论文提出了一个更实际的数据集和一种新颖的端到端学习框架，通过对比学习缩小 OCR 和信息提取任务之间的语义差距来实现 VIE，然后在这个新数据集上评估现有的 VIE 方法并展示了性能提升。

May, 2023

通过对 FUNSD 和 CORD 数据集上进行的广泛剖析研究及对 LayoutLMv3 的初始化，我们提出了一个模型，用于在视觉丰富的文档中进行关系抽取，其结果超过了当前行业的最佳效果，且没有特定的预训练任务和较少的参数。

Apr, 2024

本文提出了一种鲁棒的视觉信息提取系统（VIES），它是一个统一的端到端可训练框架，用于同时进行文本检测、识别和信息提取。同时，本文构建了一个名为 EPHOIE 的数据集，它是用于文本定位和视觉信息提取的第一个中文基准数据集。与最先进的方法相比，我们的系统在 EPHOIE 数据集上取得了显著的优异表现，在 SROIE 数据集的端到端情况下，F 分数提高了 9.01％。

Jan, 2021

本文提出了一种名为 GeolayoutLM 的多模态框架，通过显式地建模提前准备阶段的几何关系来解决 Visual information extraction 领域中 semantic entity recognition 和 relation extraction 模型中的局限性，并在相关基准测试中取得了竞争性的高分数。

Apr, 2023

从视频中提取结构化信息，是工业界许多下游应用的关键。本文定义了从视频中的视觉文本提取分层关键信息的重要任务，并介绍了名为 PipVKIE 和 UniVKIE 的两种实现解决方案。PipVKIE 逐个连续阶段完成四个子任务，而 UniVKIE 通过将所有子任务统一到一个主干中进行改进。PipVKIE 和 UniVKIE 都利用视觉、文本和坐标的多模态信息进行特征表示。在一个明确定义的数据集上进行了大量实验，证明我们的解决方案可以实现出色的性能和高效的推理速度。代码和数据集将公开提供。

Oct, 2023

本研究提出了一种将文本匹配建模为图像识别问题的方法，即通过构造匹配矩阵并利用卷积神经网络捕捉匹配模式，以此提高匹配准确度，并通过实验证明了该方法的优越性。

Feb, 2016

该论文提出了一个连接的系统，包括三个同构神经语义匹配模型，用于联合进行文献检索、句子选择和索证，以进行事实提取和验证。实验结果表明，该神经语义匹配方法在所有证据检索指标上都显著超越了常见的 TF-IDF 和编码器模型，并通过提供内部语义关联得分和词汇网特征等方法，改进了 NLI 模型的性能，从而在 FEVER 测试集上取得了最优结果。

Nov, 2018

该文介绍了使用图形学习与图形卷积操作相结合的 PICK 框架，以处理 KIE 中复杂文档布局，从而获得包含文本和视觉特征和全局布局的更丰富的语义表示，并通过实验表明了该方法的性能优于基线方法。

Apr, 2020

本文提出了一种弱监督的学习框架 TCPN，采用了仅使用关键信息序列作为监督信号的训练策略，并且包含了两种推理模式：复制或预测模式和标记模式。在几个公共基准测试上，我们的方法展现了新的最先进表现，充分证明了它的有效性。

Jun, 2021