MMNov, 2022

一般低资源信息提取的渐变模仿强化学习

PDF
TL;DR本文研究了利用低资源信息抽取（LRIE）的方法，实现从未标注数据中学习信息抽取任务。我们提出了一种名为 Gradient Imitation Reinforcement Learning（GIRL)）的方法，使用强化学习方法来鼓励伪标签数据模仿有标签数据的梯度下降方向，从而在低资源情况下，提高命名实体识别、关系提取和事件提取任务的性能。
information extractionlow-resourceunsupervised learningreinforcement learningnamed entity recognition
发现论文，激发创造
  • 低资源关系提取的梯度模仿强化学习

    本研究提出两种新的方法 GradLRE 和 Gradient Imitation Reinforcement Learning 来解决低资源关系抽取中缺乏反馈循环和选择偏差等问题，并利用上下文感知增强方法生成数据，在两个公共数据集上的实验结果表明，相比于基线，这些新方法在解决低资源关系抽取问题方面具有明显的优势。

    Sep, 2021

  • GIELLM：利用相互增强效应的日语通用信息抽取大型语言模型

    信息抽取是自然语言处理中的基石，传统上被细分为不同的子任务。大型语言模型的出现预示着一种新的范式转变，即单一模型能够解决多个信息抽取子任务。本文引入通用信息抽取大型语言模型（GIELLM），它通过统一的输入输出架构整合了文本分类、情感分析、命名实体识别、关系抽取和事件抽取。这次创新标志着一个模型首次同时处理如此多样的信息抽取子任务。值得注意的是，GIELLM 利用了互相增强效应（MRE），在综合任务中提高了性能，与各自孤立的任务相比。我们的实验证明，在六个日语混合数据集中，我们在五个数据集中取得了最先进的结果，明显超过了 GPT-3.5-Turbo。此外，使用新颖的文本分类关系和事件抽取（TCREE）数据集进行的独立评估证实了 MRE 在文本和词分类中的协同优势。这一突破为大多数信息抽取子任务在一个统一的 LLM 框架下合并提供了可能，不再需要专门的微调任务特定模型。

    Nov, 2023

  • 信息提取的易到难学习

    本文针对信息提取系统在不同任务之间交互存在困难的问题，提出了一种易于模仿人类学习过程的三阶段联合学习框架，该框架可以使模型更好地学习不同任务之间的知识和提高其泛化能力， 在四项 IE 任务上进行的广泛实验表明了本框架的有效性。

    May, 2023

  • 基于正则化的迁移学习方法在通过指导的图解码器中的信息提取

    本研究提出了一种基于正则化的迁移学习方法，通过指导图解码器进行信息提取（IE）。我们构建了一个指令池，用于各种 IE 任务的数据集，然后提出了一个指导图解码器。通过基于相应指令将各种复杂结构解码为图的方式，我们可以学习和转移与现有数据集共享的常见知识到具有新标签的新数据集中。此外，为了缓解各种 IE 任务中的标签一致性问题，我们引入了一种任务特定的正则化策略，不更新具有 “相反方向” 的两个任务的梯度。我们对包括四个 IE 任务的 12 个数据集进行了大量实验，结果证明了我们提出方法的巨大优势。

    Mar, 2024

  • 通过迭代排名感知学习提高开放式信息提取

    该研究提出一种方法，通过增加二进制分类损失和迭代学习过程来校准开放信息提取系统的置信度，并在 OIE2016 上的实验证明了该方法的有效性。

    May, 2019

  • 在检索增强生成框架中使用经过微调的大型语言模型进行关系抽取

    Fine-tuned large language models integrated into the Retrieval-Augmented-based approach demonstrate exceptional performance in identifying implicit relations, surpassing previous results on SemEVAL and achieving substantial gains on TACRED, TACREV, and Re-TACRED datasets.

    Jun, 2024

  • 通过估计演示者的专业知识进行逆强化学习

    使用不完美和异构演示在模仿学习中存在相当大的挑战，本文介绍了一种名为 IRLEED 的新框架，通过估计演示者的专业水准，克服了现有逆强化学习算法中对不完善演示的缺陷，并结合最大熵逆强化学习框架从多样的不完善演示中高效地得出最优策略。通过在线和离线模仿学习设置以及模拟和人工生成的数据进行的实验表明，IRLEED 具有适应性和有效性，成为从不完善演示中学习的通用解决方案。

    Feb, 2024

  • ReIL: 基于强化干预的模仿学习框架

    本文提出了一种基于增强和干预的多任务学习框架 --ReIL，该框架旨在实现在无需过多监督和调整的情况下，在真实环境中训练代理。实验结果表明，相较于其他基于干预的方法，ReIL 使用任意奖励函数进行训练时无需使用额外启发式方法，能够在稀疏监督信号的情况下快速学习并保持性能。

    Mar, 2022

  • 大型语言模型用于生成式信息提取：一项综述

    信息提取是从自然语言文本中提取结构化知识（如实体、关系和事件）的过程。最近，生成式大型语言模型（LLMs）在文本理解和生成方面展示出了显著的能力，允许在各个领域和任务中进行概括。为了对 LLMs 在信息提取任务中的努力进行全面系统的回顾和探索，我们通过调查这个领域的最新进展来进行研究。我们首先通过以各种信息提取子任务和学习范式进行分类来呈现一个全面的概述，然后我们经验性地分析最先进的方法并发现使用 LLMs 的信息提取任务的新兴趋势。通过进行彻底审查，我们确定了一些技术见解和有希望进一步探索的研究方向，值得在未来研究中持续探索。我们在以下网址维护一个公共资源库并定期更新相关资源：https://github.com/quqxui/Awesome-LLM4IE-Papers。

    Dec, 2023

  • 利用大型语言模型和一致的推理环境掌握开放信息提取任务

    通过构建合适的推理环境，本文探索利用大型语言模型（LLMs）解决开放式信息抽取（OIE）问题，实验结果表明，相较于最先进的监督方法，我们的 6-shot 方法在标准 CaRB 基准上实现了 55.3 的 F1 分数，同时在 TACRED 和 ACE05 上实验结果显示，我们的方法可以自然地推广到其他信息抽取任务，并分别获得了 5.7 和 6.8 的 F1 分数提升。

    Oct, 2023