ACLJun, 2023

元预训练自检索的通用信息提取

PDF
TL;DR本文提出了 MetaRetriever 和 Meta-Pretraining Algorithm 算法，分别从预训练语言模型中检索任务特定的知识以增强通用信息提取技术，并在四项信息提取任务中实现了最新的任务特定的信息检索性能。
universal information extractionknowledge basespretrained language modelsmetaretrievermeta-pretraining algorithm
发现论文，激发创造
  • 从 LLM 中提炼元模型用于各类信息提取任务

    我们提出了一个称为 MetaIE 的新框架，通过学习提取 “重要信息” 来构建一个小型元模型，使得这个元模型可以有效和高效地适应各种信息提取任务，在少样本适应设置下获得更好的性能。

    Mar, 2024

  • 通用信息提取的统一结构生成

    本文提出了一种名为 UIE 的统一文本到结构生成框架，可通用地模拟不同的信息提取任务，通过基于模式的指示器机制自适应生成目标结构，并通过大规模的预训练文本到结构模型捕捉共同的信息提取能力。实验结果显示，UIE 在四个 IE 任务、13 个数据集和不同的实验条件下实现了最先进的性能，验证了其有效性、通用性和可迁移性。

    Mar, 2022

  • 通用信息提取作为统一语义匹配

    本文提出了一种基于统一语义匹配框架的信息提取方法，解决了传统方法因具体任务需定制模型且仅能适用于有见过的数据集的问题，通过对信息提取进行结构化和概念化两个基本能力的分离并引入三个统一的标记链接操作，在 4 个 IE 任务中达到了最先进的性能并表现出了强大的泛化能力。

    Jan, 2023

  • 检索增强的通用信息提取代码生成

    Code4UIE 是基于 LLMs 的一种通用检索增强代码生成框架，针对信息抽取任务。它采用 Python 类来以通用方式定义各种结构化知识的任务特定模式，并且利用上下文学习机制指导 LLMs 生成恰当的代码，以从文本中提取知识。Code4UIE 通过多种示例检索策略探索语义上与给定文本相似的示例，通过五个代表性的信息抽取任务在九个数据集上的广泛实验验证了该框架的有效性。

    Nov, 2023

  • InstructUIE: 统一信息抽取的多任务指令调整

    该论文提出了基于指令调整的统一信息提取框架 InstructUIE，它可以统一地建模各种信息提取任务并捕获任务间的依赖关系。在零样本设置下，该方法显著优于现有的大型语言模型和 gpt3.5。

    Apr, 2023

  • UniIR: 训练和基准测试通用多模态信息检索器

    对于信息检索 (IR) 模型通常假设为同质化格式，限制了其适用于各种用户需求，如使用文本描述搜索图片，使用标题图搜索新闻文章或使用查询图搜索相似照片。为了满足这种不同的信息需求，我们引入了 UniIR，一种统一的指令引导多模态检索器，可以处理八个不同的跨模态检索任务。UniIR 是一个单一的检索系统，同时在十个不同的多模态 - IR 数据集上进行训练，解释用户指令来执行各种检索任务，展示了对现有数据集的鲁棒性能以及对新任务的零 - shot 泛化能力。我们的实验突出了多任务训练和指令调整是 UniIR 泛化能力的关键。此外，我们构建了 M-BEIR，一个综合结果的多模态检索基准，用于标准化通用多模态信息检索的评估。

    Nov, 2023

  • UMIE: 统一多模态信息提取与指导调整

    多模态信息提取通过指令调整以解决当前面临的任务特定模型结构的持续问题，提供了一个统一的多模态信息提取器 UMIE，能够有效地提取文本和视觉提及，并在六个多模态信息提取数据集上的三个任务中在零样本模型、指令变体和可解释性方面都表现出强大的泛化能力。

    Jan, 2024

  • UniEX: 基于跨度提取视角的统一信息抽取的有效高效框架

    提出新的泛信息提取范式 UniEX，可适用于多种信息提取任务，利用自编码语言模型学习通用知识，并通过自设计的 traffine attention 机制在 14 项基准测试数据集上取得了领先的结果。

    May, 2023

  • 信息提取的易到难学习

    本文针对信息提取系统在不同任务之间交互存在困难的问题，提出了一种易于模仿人类学习过程的三阶段联合学习框架，该框架可以使模型更好地学习不同任务之间的知识和提高其泛化能力， 在四项 IE 任务上进行的广泛实验表明了本框架的有效性。

    May, 2023

  • 大型语言模型用于生成式信息提取：一项综述

    信息提取是从自然语言文本中提取结构化知识（如实体、关系和事件）的过程。最近，生成式大型语言模型（LLMs）在文本理解和生成方面展示出了显著的能力，允许在各个领域和任务中进行概括。为了对 LLMs 在信息提取任务中的努力进行全面系统的回顾和探索，我们通过调查这个领域的最新进展来进行研究。我们首先通过以各种信息提取子任务和学习范式进行分类来呈现一个全面的概述，然后我们经验性地分析最先进的方法并发现使用 LLMs 的信息提取任务的新兴趋势。通过进行彻底审查，我们确定了一些技术见解和有希望进一步探索的研究方向，值得在未来研究中持续探索。我们在以下网址维护一个公共资源库并定期更新相关资源：https://github.com/quqxui/Awesome-LLM4IE-Papers。

    Dec, 2023