从视频中提取结构化信息，是工业界许多下游应用的关键。本文定义了从视频中的视觉文本提取分层关键信息的重要任务，并介绍了名为 PipVKIE 和 UniVKIE 的两种实现解决方案。PipVKIE 逐个连续阶段完成四个子任务，而 UniVKIE 通过将所有子任务统一到一个主干中进行改进。PipVKIE 和 UniVKIE 都利用视觉、文本和坐标的多模态信息进行特征表示。在一个明确定义的数据集上进行了大量实验，证明我们的解决方案可以实现出色的性能和高效的推理速度。代码和数据集将公开提供。

Oct, 2023

本文提出了一种鲁棒的视觉信息提取系统（VIES），它是一个统一的端到端可训练框架，用于同时进行文本检测、识别和信息提取。同时，本文构建了一个名为 EPHOIE 的数据集，它是用于文本定位和视觉信息提取的第一个中文基准数据集。与最先进的方法相比，我们的系统在 EPHOIE 数据集上取得了显著的优异表现，在 SROIE 数据集的端到端情况下，F 分数提高了 9.01％。

Jan, 2021

该研究提出了一种基于图神经网络的键值匹配模型 MatchVIE 用于视觉信息提取任务，通过关键词匹配和相关性评估实现了对实体之间的强相关度依赖，模型中采用的 Num2Vec 操作有助于提高编码值的稳定性和收敛性。该方法在实验中证明优于以往的方法，是现有方法的一个良好补充。

Jun, 2021

该论文提出了一个更实际的数据集和一种新颖的端到端学习框架，通过对比学习缩小 OCR 和信息提取任务之间的语义差距来实现 VIE，然后在这个新数据集上评估现有的 VIE 方法并展示了性能提升。

May, 2023

该论文提出了统一的视觉语义嵌入方法，采用对比学习的方法从仅有的图像 - 标题对中对不同水平的概念进行对齐，对于句子中出现的语义组件进行了有效处理，证明该方法具有鲁棒性和可靠性。

Apr, 2019

本文提出一种新型联合实体关系抽取模型，它将实体检测和关系分类合并到一个标签空间中，使用一个统一的分类器预测每个单元格的标签，并提出了一种有效的近似解码器，实验表明该模型在三个基准测试中取得了与最佳抽取器相当的准确率，并且速度更快。

Jul, 2021

本文提出了一种名为 UIE 的统一文本到结构生成框架，可通用地模拟不同的信息提取任务，通过基于模式的指示器机制自适应生成目标结构，并通过大规模的预训练文本到结构模型捕捉共同的信息提取能力。实验结果显示，UIE 在四个 IE 任务、13 个数据集和不同的实验条件下实现了最先进的性能，验证了其有效性、通用性和可迁移性。

Mar, 2022

提出新的泛信息提取范式 UniEX，可适用于多种信息提取任务，利用自编码语言模型学习通用知识，并通过自设计的 traffine attention 机制在 14 项基准测试数据集上取得了领先的结果。

May, 2023

通过对 FUNSD 和 CORD 数据集上进行的广泛剖析研究及对 LayoutLMv3 的初始化，我们提出了一个模型，用于在视觉丰富的文档中进行关系抽取，其结果超过了当前行业的最佳效果，且没有特定的预训练任务和较少的参数。

Apr, 2024

通过深度神经网络，结合多级注意力 U-Net 结构和部分强度场、部分关联场的联合性实现形式理解中的实体检测和链接预测，有效地提升了文档形式理解任务的表现，尤其是在 FUNSD 数据集上的表现优于原始模型和现有基准。

Jun, 2021