Nov, 2023

GIELLM：利用相互增强效应的日语通用信息抽取大型语言模型

PDF
TL;DR信息抽取是自然语言处理中的基石，传统上被细分为不同的子任务。大型语言模型的出现预示着一种新的范式转变，即单一模型能够解决多个信息抽取子任务。本文引入通用信息抽取大型语言模型（GIELLM），它通过统一的输入输出架构整合了文本分类、情感分析、命名实体识别、关系抽取和事件抽取。这次创新标志着一个模型首次同时处理如此多样的信息抽取子任务。值得注意的是，GIELLM 利用了互相增强效应（MRE），在综合任务中提高了性能，与各自孤立的任务相比。我们的实验证明，在六个日语混合数据集中，我们在五个数据集中取得了最先进的结果，明显超过了 GPT-3.5-Turbo。此外，使用新颖的文本分类关系和事件抽取（TCREE）数据集进行的独立评估证实了 MRE 在文本和词分类中的协同优势。这一突破为大多数信息抽取子任务在一个统一的 LLM 框架下合并提供了可能，不再需要专门的微调任务特定模型。
information extractionlarge language modelsgeneral information extraction large language modelmutual reinforcement effectstate-of-the-art results
发现论文，激发创造
  • 大型语言模型用于生成式信息提取：一项综述

    信息提取是从自然语言文本中提取结构化知识（如实体、关系和事件）的过程。最近，生成式大型语言模型（LLMs）在文本理解和生成方面展示出了显著的能力，允许在各个领域和任务中进行概括。为了对 LLMs 在信息提取任务中的努力进行全面系统的回顾和探索，我们通过调查这个领域的最新进展来进行研究。我们首先通过以各种信息提取子任务和学习范式进行分类来呈现一个全面的概述，然后我们经验性地分析最先进的方法并发现使用 LLMs 的信息提取任务的新兴趋势。通过进行彻底审查，我们确定了一些技术见解和有希望进一步探索的研究方向，值得在未来研究中持续探索。我们在以下网址维护一个公共资源库并定期更新相关资源：https://github.com/quqxui/Awesome-LLM4IE-Papers。

    Dec, 2023

  • 在检索增强生成框架中使用经过微调的大型语言模型进行关系抽取

    Fine-tuned large language models integrated into the Retrieval-Augmented-based approach demonstrate exceptional performance in identifying implicit relations, surpassing previous results on SemEVAL and achieving substantial gains on TACRED, TACREV, and Re-TACRED datasets.

    Jun, 2024

  • 一般低资源信息提取的渐变模仿强化学习

    本文研究了利用低资源信息抽取（LRIE）的方法，实现从未标注数据中学习信息抽取任务。我们提出了一种名为 Gradient Imitation Reinforcement Learning（GIRL)）的方法，使用强化学习方法来鼓励伪标签数据模仿有标签数据的梯度下降方向，从而在低资源情况下，提高命名实体识别、关系提取和事件提取任务的性能。

    Nov, 2022

  • 日本语句子分类和命名实体识别任务中的相互增强效应

    信息抽取是自然语言处理中一个关键领域，本研究提出了一个多任务学习方法，通过整合句子分类和命名实体识别，揭示了这两个信息抽取子任务之间的相互增强效应。结果显示，整合增强了句子分类和命名实体识别的性能，并且实验证明了该方法的有效性。

    Jul, 2023

  • 评估中文开源大型语言模型在信息抽取任务中的性能

    本文针对零样本情况下中文开源大型语言模型在信息抽取任务中的性能进行了综合调查和分析，同时通过少样本实验评估了这些模型的能力，并与 ChatGPT 等广泛认可的语言模型在信息抽取性能上进行了比较分析，旨在提供对现有中文开源大型语言模型在自然语言处理中信息抽取领域的优势、限制和潜在增强的洞察。

    Jun, 2024

  • CodeIE：大型代码生成模型比小规模模型更适用于少样本信息提取

    本文提出利用 Code-LLMs 如 Codex 代替 NL-LLMs，通过设计以代码为形式的提示和将 IE 任务制定为代码生成任务，有效地解决了信息提取任务的难题，并在七个基准测试中显示其优越性。

    May, 2023

  • 利用增强的指令对大型语言模型进行精细化信息提取的基准测试

    引入了一种为大型语言模型定制的细粒度信息抽取基准数据集，通过评估发现编码器 - 解码器模型在泛化到未见过的信息类型方面表现良好，而 ChatGPT 对于新任务形式具有更大的适应性。结果还表明，性能不仅仅取决于模型规模，还强调了架构、数据多样性和学习技术的重要性。这项工作为在信息提取中更精细、更灵活地利用大型语言模型铺平了道路。

    Oct, 2023

  • 大型语言模型改进开放信息抽取：关于演示不确定性的研究

    通过提出各种上下文学习策略来增强大型语言模型的指示遵循能力，以及通过演示不确定性量化模块来增强生成关系的置信度，本论文评估了大型语言模型在改进开放信息抽取任务中的能力，并在三个开放信息抽取基准数据集上进行实验证明了我们的方法在数量和质量上能够与已建立的监督方法媲美。

    Sep, 2023

  • 从 LLM 中提炼元模型用于各类信息提取任务

    我们提出了一个称为 MetaIE 的新框架，通过学习提取 “重要信息” 来构建一个小型元模型，使得这个元模型可以有效和高效地适应各种信息提取任务，在少样本适应设置下获得更好的性能。

    Mar, 2024

  • GoLLIE：注释指南提升零样本信息提取

    GoLLIE 模型是一种基于大型语言模型的信息抽取模型，通过遵循详细的注释指南，能够在未见过的任务上获得零样本结果，并在综合评估中表现优于之前的尝试。

    Oct, 2023