本文提出了一种名为 UIE 的统一文本到结构生成框架，可通用地模拟不同的信息提取任务，通过基于模式的指示器机制自适应生成目标结构，并通过大规模的预训练文本到结构模型捕捉共同的信息提取能力。实验结果显示，UIE 在四个 IE 任务、13 个数据集和不同的实验条件下实现了最先进的性能，验证了其有效性、通用性和可迁移性。

Mar, 2022

介绍了一种提高语言模型结构理解能力的方法，它通过预训练语言模型生成的结构来替代以往的基于任务数据的微调方式，并且在包含 28 个数据集的 10 个预测任务上实现了零样本迁移和超越了 21 个数据集的最新成果。

May, 2022

信息提取是从自然语言文本中提取结构化知识（如实体、关系和事件）的过程。最近，生成式大型语言模型（LLMs）在文本理解和生成方面展示出了显著的能力，允许在各个领域和任务中进行概括。为了对 LLMs 在信息提取任务中的努力进行全面系统的回顾和探索，我们通过调查这个领域的最新进展来进行研究。我们首先通过以各种信息提取子任务和学习范式进行分类来呈现一个全面的概述，然后我们经验性地分析最先进的方法并发现使用 LLMs 的信息提取任务的新兴趋势。通过进行彻底审查，我们确定了一些技术见解和有希望进一步探索的研究方向，值得在未来研究中持续探索。我们在以下网址维护一个公共资源库并定期更新相关资源：https://github.com/quqxui/Awesome-LLM4IE-Papers。

Dec, 2023

本研究旨在通过利用句法结构信息，提出一种新颖的结构感知生成式语言模型，对各种信息提取任务进行统一的建模与预测，并且通过引入异构结构感知器和任务导向的结构微调机制来实现更好的指导解码，从而显著提高了 12 项信息提取任务的性能。

Apr, 2023

本文提出了一种基于统一语义匹配框架的信息提取方法，解决了传统方法因具体任务需定制模型且仅能适用于有见过的数据集的问题，通过对信息提取进行结构化和概念化两个基本能力的分离并引入三个统一的标记链接操作，在 4 个 IE 任务中达到了最先进的性能并表现出了强大的泛化能力。

Jan, 2023

该论文提出了基于指令调整的统一信息提取框架 InstructUIE，它可以统一地建模各种信息提取任务并捕获任务间的依赖关系。在零样本设置下，该方法显著优于现有的大型语言模型和 gpt3.5。

Apr, 2023

近年来，指导调整已经引起了越来越多的关注，并成为增强大型语言模型（LLM）功能的关键技术。为了构建高质量的指导数据集，已经提出了许多指导处理方法，旨在实现数据数量和数据质量之间的微妙平衡。然而，由于各种指导处理方法之间存在的不一致性，社区中没有标准的开源指导处理实现框架可用，这妨碍了从业者的进一步开发和进展。为了促进指导处理的研究和开发，我们提供了 EasyInstruct，这是一个易于使用的 LLM 指导处理框架，它将指导生成、选择和提示模块化，同时考虑它们的组合和互动。EasyInstruct 已在 https URL 上公开发布，并配有一个运行中的演示应用程序，用于快速启动，并呼吁更广泛的以指导数据为中心的研究。

Feb, 2024

通过预先训练的语言模型 GPT-3，我们提出了一种简单的序列到序列方法来联合提取科学文本中的复杂层次信息的命名实体识别和关系抽取，并证明了这种方式能够准确提取复杂科学知识的有用记录。

Dec, 2022

本论文研究了在不需要大量预训练的情况下，以结构为导向的指导是否能够使 Transformer 语言模型学习更接近人类的系统语言泛化。通过在 BLLIP 数据集上对两种新模型进行实验，研究者发现引入结构性解析的辅助训练能够提高 Transformer 语言模型在句法推理上的泛化能力。

Jul, 2021

引入了一种为大型语言模型定制的细粒度信息抽取基准数据集，通过评估发现编码器 - 解码器模型在泛化到未见过的信息类型方面表现良好，而 ChatGPT 对于新任务形式具有更大的适应性。结果还表明，性能不仅仅取决于模型规模，还强调了架构、数据多样性和学习技术的重要性。这项工作为在信息提取中更精细、更灵活地利用大型语言模型铺平了道路。

Oct, 2023