Nov, 2023

检索增强的通用信息提取代码生成

PDF
TL;DRCode4UIE 是基于 LLMs 的一种通用检索增强代码生成框架，针对信息抽取任务。它采用 Python 类来以通用方式定义各种结构化知识的任务特定模式，并且利用上下文学习机制指导 LLMs 生成恰当的代码，以从文本中提取知识。Code4UIE 通过多种示例检索策略探索语义上与给定文本相似的示例，通过五个代表性的信息抽取任务在九个数据集上的广泛实验验证了该框架的有效性。
information extractioncode4uiestructural knowledgelarge language modelsie tasks
发现论文，激发创造
  • CodeIE：大型代码生成模型比小规模模型更适用于少样本信息提取

    本文提出利用 Code-LLMs 如 Codex 代替 NL-LLMs，通过设计以代码为形式的提示和将 IE 任务制定为代码生成任务，有效地解决了信息提取任务的难题，并在七个基准测试中显示其优越性。

    May, 2023

  • 通用信息提取的统一结构生成

    本文提出了一种名为 UIE 的统一文本到结构生成框架，可通用地模拟不同的信息提取任务，通过基于模式的指示器机制自适应生成目标结构，并通过大规模的预训练文本到结构模型捕捉共同的信息提取能力。实验结果显示，UIE 在四个 IE 任务、13 个数据集和不同的实验条件下实现了最先进的性能，验证了其有效性、通用性和可迁移性。

    Mar, 2022

  • KnowCoder: 将结构化知识编码到 LLMs 以进行普适信息提取

    通过代码生成，我们提出了 KnowCoder，一个大型语言模型（LLM），用于进行通用信息抽取（UIE）。KnowCoder 旨在开发一种统一的模式表示方法，使 LLMs 能够轻松理解，并提供一种有效的学习框架，鼓励 LLMs 遵循模式并准确提取结构化知识。

    Mar, 2024

  • 元预训练自检索的通用信息提取

    本文提出了 MetaRetriever 和 Meta-Pretraining Algorithm 算法，分别从预训练语言模型中检索任务特定的知识以增强通用信息提取技术，并在四项信息提取任务中实现了最新的任务特定的信息检索性能。

    Jun, 2023

  • 大型语言模型用于生成式信息提取：一项综述

    信息提取是从自然语言文本中提取结构化知识（如实体、关系和事件）的过程。最近，生成式大型语言模型（LLMs）在文本理解和生成方面展示出了显著的能力，允许在各个领域和任务中进行概括。为了对 LLMs 在信息提取任务中的努力进行全面系统的回顾和探索，我们通过调查这个领域的最新进展来进行研究。我们首先通过以各种信息提取子任务和学习范式进行分类来呈现一个全面的概述，然后我们经验性地分析最先进的方法并发现使用 LLMs 的信息提取任务的新兴趋势。通过进行彻底审查，我们确定了一些技术见解和有希望进一步探索的研究方向，值得在未来研究中持续探索。我们在以下网址维护一个公共资源库并定期更新相关资源：https://github.com/quqxui/Awesome-LLM4IE-Papers。

    Dec, 2023

  • LasUIE：使用潜在的自适应结构感知生成语言模型统一信息抽取

    本研究旨在通过利用句法结构信息，提出一种新颖的结构感知生成式语言模型，对各种信息提取任务进行统一的建模与预测，并且通过引入异构结构感知器和任务导向的结构微调机制来实现更好的指导解码，从而显著提高了 12 项信息提取任务的性能。

    Apr, 2023

  • 实体增强代码生成

    该论文通过引入可检索增强的大型语言模型（LLMs），拓展了检索增强 LLMs 的应用领域，以代码生成为例，并提出了一种新颖的可训练架构，将可检索实体注入到 LLM 解码器中，以解决现有模型在相似实体名之间无法分配相关性分数的问题，并在多个场景下超越常见基准模型，包括项目级代码生成、Bash 和 SQL 脚本。

    Dec, 2023

  • RexUIE: 一种显式模式递归方法的通用信息抽取方法

    本文提出了 UIE 的新定义和 RexUIE 方法，通过正式的公式化概括了几乎所有提取模式，并且在重置位置 ID 和注意力掩码矩阵后，能够在全量数据和少量数据的情形下取得最先进的成果。

    Apr, 2023

  • 通用信息提取作为统一语义匹配

    本文提出了一种基于统一语义匹配框架的信息提取方法，解决了传统方法因具体任务需定制模型且仅能适用于有见过的数据集的问题，通过对信息提取进行结构化和概念化两个基本能力的分离并引入三个统一的标记链接操作，在 4 个 IE 任务中达到了最先进的性能并表现出了强大的泛化能力。

    Jan, 2023

  • ChatUIE：基于大型语言模型的基于聊天的统一信息提取探索

    本文介绍了 ChatUIE，这是一个基于 ChatGLM 构建的创新统一信息提取框架，使用强化学习来改进和使各种任务相一致，同时还整合了生成约束来解决输入中不存在元素的问题，实验证明 ChatUIE 可以显著提高信息提取的性能，稍微降低了聊天能力。

    Mar, 2024