本文研究使用大语言模型的 few-shot 关系抽取的方法,着重考察了上下文学习和数据生成技术,并通过实验发现,与之前的提示学习方法相比,上下文学习方法可以获得与之类似的效果,而大语言模型的数据生成方法可以帮助基于先前解决方法获得一些状态 - of-art 的结果。
May, 2023
通过集成大型语言模型和自然语言推理模块,我们提出一种自动标注方法来生成关系三元组,从而增强文档级关系数据集,我们通过介绍增强的数据集 DocGNRE 展示了我们方法的有效性,该方法在重新注释众多长尾关系类型方面表现出色,并且在推进广义语言语义理解方面提供了实际好处。
Nov, 2023
使用句法分析和预先训练的词嵌入技术,在缺乏任何形式监督的情况下,提取少量精确关系,用于注释更大的语料库,并在生物医学领域的四个数据集上通过微调预先训练的 BERT 模型进行关系抽取实验表明,与无监督关系提取的两个简单的基线相比,我们的方法显著优于两个简单的基线,即使不使用任何监督,也获得了三个数据集中的最先进结果之一;更重要的是,我们证明了使用噪声数据可以成功地对大型预先训练的语言模型进行微调,而不是依赖于黄金数据进行微调。
Nov, 2019
本篇论文提出基于序列标注联合提取方法的小样本关系抽取任务,利用少量标注数据解决领域中标注数据不足的问题,并将两种实际序列标注模型应用于这个框架达到了良好的效果。
Aug, 2022
本文主要研究了最新的自然语言处理技术中,神经网络和语言模型在命名实体识别和关系抽取方面的应用以及它们在训练过程中面临的一些挑战。我们发现,预训练的语言模型对发现未曾见过的命名实体表现良好,但对于未曾见过的关系则有待加强,因此模型的理解能力仍存在提升空间。
Jun, 2022
通过使用语言模型生成初始种子实例并结合反馈进行改进,在关系抽取任务中实现零样本学习,取得了较基准方法更好的性能。
Feb, 2024
本文探讨了利用 GPT-3 和 Flan-T5 等大型语言模型来进行关系提取(RE)的问题,通过将关系线性化生成目标字符串的方法进行了序列到序列的任务处理,通过人工评估的方式,在不同程度的监督下评估了它们在标准 RE 任务中的表现,发现通过 GPT-3 进行的少量提示与现有完全监督模型大致相当,而使用 Chain-of-Thought 风格的解释进一步监督和微调后,该模型产生了最优结果。
使用 TACRED 及 SemEval 2010 Task 8 数据集,TRE 通过使用预先训练的深度语言表示模型以及自注意力深度学习模型,从文本语料库中自动学习隐式语言特征并显著提高样本效率,从而实现了关系提取任务的新的最优结果。
Jun, 2019
本文提出了一种基于神经元的端到端模型来联合提取实体和它们的关系,该模型不依赖于外部自然语言处理工具,而是集成了大量的预训练语言模型, 在三个领域的五个数据集上,我们的模型可以与最先进的性能相提并论,有时甚至具有更高的性能。
Dec, 2019
本文提出了一种新的直接加法方法来更加明确有效地将关系信息引入 Few-Shot 关系提取模型,该方法通过连接两种关系视图来生 成关系表示,并将其直接添加到原型中进行训练和预测,在 FewRel 1.0 基准数据集上实现了显著的改进,并且与最先进的结果相当。
May, 2022