本文提出了一种方法 - EIGEN，以利用预先训练的语言模型来生成事件影响，该方法是在推理链中的一个上下文、影响性质和距离的条件下进行的，并派生了一个用于研究和评估事件影响方法的新数据集。EIGEN 在自动评估指标（10 ROUGE 点）和人类判断（参考关系的密切程度和相关性）方面均优于强基线。此外，我们还展示了 EIGEN 生成的事件影响如何提高 “如果” 问答（WIQA）基准测试的性能（超过 3％ F1），特别是对于需要背景知识和多跳推理的问题。

Oct, 2020

本文研究信息提取的问题，使用大型预训练语言模型和图神经网络相结合的模型来高效地编码视觉和文本信息，并引入新的微调目标，通过使用大量未标记的领域内数据来改善领域内无监督微调。我们在真实世界的发票和简历数据集上进行了实验，并表明所提出的方法在发票上的绝对 F1 比强文本基线高出 6.3％ ，在简历中 F1 绝对值增加了 4.7％。在少数样本情况下，我们的方法需要比基线少 30 倍的批注数据才能在约 90％的 F1 达到相同的性能水平。

May, 2020

该研究构建了基于文档的对话系统，旨在从视觉丰富的文档（VRD）中提取结构和语义知识，以生成准确的回复，为此创建了一个布局感知的文档级信息提取数据集 LIE，并开发了基准方法考虑人类的布局特征，实验结果表明布局对基于 VRD 的提取至关重要，系统演示也验证了提取的知识能够帮助用户找到关心的答案。LIE 包含来自产品和官方文档中 4,061 页的 62k 注释，成为我们所知最大的基于 VRD 的信息提取数据集。

Jul, 2022

在 OCR 系统获取的布局特征的基础上，改进 Transformer 编码器的结构来构建布局感知的语言模型，展示在信息提取方面的出色性能。

Feb, 2020

提出了 ERINIE-Layout，一种新颖的以布局知识增强的文档预训练解决方案，通过整个工作流程来学习将文本、布局和图像特征结合起来的更好表现，以及如何在文档中学习适当的阅读顺序。实验结果表明，ERNIE-Layout 在各种下游任务上取得了卓越的性能，成为关键信息提取、文档图像分类和文档问答数据集的新的最先进技术，且代码和模型公开。

Oct, 2022

本研究提出一种新的基于迭代标记的方式，利用新型的迭代网格标记（IGL）架构，将 OpenIE 视为二维网格标记任务，应用软约束于训练过程，实现了 OpenIE 的新突破，使得速度快了 10 倍，同时也建立了协调分析任务的新的行业标准，并比之前的分析器提高了 12.3 个 F1。本文所提出的 OpenIE6 的 F1 评分比以前的系统高 4 个点。

Oct, 2020

该论文提出了一种新模型 LAGER，该模型基于文档中单词之间的拓扑相邻关系建立边缘，并通过引入图神经网络层将其结合到预训练语言模型中，从而有效地提高了实体识别的性能。

May, 2023

该研究提出了一种基于无监督学习和深度神经网络的终端到终端学习框架，结合自编码器和最大均值差异损失来学习语义和视觉特征的联合嵌入，实现了跨域多模态表示的提取，并构建了更全面的标记和未标记数据的嵌入，帮助从归纳到传导的范围内解决零样本和少样本图像识别和检索等各种复杂任务。

Mar, 2017

本文研究信息提取中遇到的嘈杂标签问题，提出了一个共同正则化框架来解决这个问题，该框架基于识别嘈杂标签需要更多训练步骤且更容易被忘记的性质，在 TACRED 和 CoNLL03 这两个嘈杂基准数据集上进行了广泛的实验，并发布了代码供未来研究使用。

Apr, 2021

本文提出了将逻辑知识集成入深度学习系统中的方法来优化信息提取任务，通过逻辑规则，能够结合深度学习的优点来增强模型的泛化性能。

Dec, 2019