GoLLIE:注释指南提升零样本信息提取
提出了一种用于上下文信息提取的指南学习(GL)框架,通过学习生成和遵循指南,在学习阶段,自动从少量标注中综合一组指南,在推理阶段,检索有用的指南以提升上下文学习的性能。
Oct, 2023
信息提取是从自然语言文本中提取结构化知识(如实体、关系和事件)的过程。最近,生成式大型语言模型(LLMs)在文本理解和生成方面展示出了显著的能力,允许在各个领域和任务中进行概括。为了对 LLMs 在信息提取任务中的努力进行全面系统的回顾和探索,我们通过调查这个领域的最新进展来进行研究。我们首先通过以各种信息提取子任务和学习范式进行分类来呈现一个全面的概述,然后我们经验性地分析最先进的方法并发现使用 LLMs 的信息提取任务的新兴趋势。通过进行彻底审查,我们确定了一些技术见解和有希望进一步探索的研究方向,值得在未来研究中持续探索。我们在以下网址维护一个公共资源库并定期更新相关资源:https://github.com/quqxui/Awesome-LLM4IE-Papers。
Dec, 2023
信息抽取是自然语言处理中的基石,传统上被细分为不同的子任务。大型语言模型的出现预示着一种新的范式转变,即单一模型能够解决多个信息抽取子任务。本文引入通用信息抽取大型语言模型(GIELLM),它通过统一的输入输出架构整合了文本分类、情感分析、命名实体识别、关系抽取和事件抽取。这次创新标志着一个模型首次同时处理如此多样的信息抽取子任务。值得注意的是,GIELLM 利用了互相增强效应(MRE),在综合任务中提高了性能,与各自孤立的任务相比。我们的实验证明,在六个日语混合数据集中,我们在五个数据集中取得了最先进的结果,明显超过了 GPT-3.5-Turbo。此外,使用新颖的文本分类关系和事件抽取(TCREE)数据集进行的独立评估证实了 MRE 在文本和词分类中的协同优势。这一突破为大多数信息抽取子任务在一个统一的 LLM 框架下合并提供了可能,不再需要专门的微调任务特定模型。
Nov, 2023
引入了一种为大型语言模型定制的细粒度信息抽取基准数据集,通过评估发现编码器 - 解码器模型在泛化到未见过的信息类型方面表现良好,而 ChatGPT 对于新任务形式具有更大的适应性。结果还表明,性能不仅仅取决于模型规模,还强调了架构、数据多样性和学习技术的重要性。这项工作为在信息提取中更精细、更灵活地利用大型语言模型铺平了道路。
Oct, 2023
通过提出各种上下文学习策略来增强大型语言模型的指示遵循能力,以及通过演示不确定性量化模块来增强生成关系的置信度,本论文评估了大型语言模型在改进开放信息抽取任务中的能力,并在三个开放信息抽取基准数据集上进行实验证明了我们的方法在数量和质量上能够与已建立的监督方法媲美。
Sep, 2023
本文提出利用 Code-LLMs 如 Codex 代替 NL-LLMs,通过设计以代码为形式的提示和将 IE 任务制定为代码生成任务,有效地解决了信息提取任务的难题,并在七个基准测试中显示其优越性。
May, 2023
介绍一种新型 GLiNER 模型,用于各种信息提取任务,同时作为一个小型编码器模型。该模型在零样本 NER 基准测试上达到了最佳性能,并在问答、摘要和关系抽取任务上具有领先的性能。此外,本文还涵盖了使用 GLiNER 模型进行命名实体识别的自学习方法的实验结果。
Jun, 2024
使用 5 种最先进的大型语言模型(LLMs)作为 “标注者” 在多个任务上进行评估,并比较其与人类标注的优缺点。总体而言,尽管 LLMs 在某些任务上表现出色,但它们无法替代人类标注的需求。
Jul, 2023
通过构建合适的推理环境,本文探索利用大型语言模型(LLMs)解决开放式信息抽取(OIE)问题,实验结果表明,相较于最先进的监督方法,我们的 6-shot 方法在标准 CaRB 基准上实现了 55.3 的 F1 分数,同时在 TACRED 和 ACE05 上实验结果显示,我们的方法可以自然地推广到其他信息抽取任务,并分别获得了 5.7 和 6.8 的 F1 分数提升。
Oct, 2023
本文探讨了零样本信息提取(Zero-shot information extraction)的挑战,通过大型语言模型和基于提示的方法构建具有强大信息提取能力的 ChatIE 框架,成功地实现了多轮问答式的信息提取任务,这为使用有限资源构建信息提取模型提供了研究思路和方法。
Feb, 2023