把握要点:为零 shot 关系抽取量身定制大型语言模型
本研究聚焦于使用大型语言模型作为无样本关系抽取器。通过分析现有关系抽取提示的不足之处,并引入诸如 CoT 的最新提示技术,我们提出了一种名为 SumAsk 的简单提示方法,通过使用大型语言模型将关系抽取输入转化为有效的问答格式。同时,我们在各种基准测试和设置上进行了广泛的实验,研究了大型语言模型在无样本关系抽取方面的能力,发现 SumAsk 方法在不同模型尺寸、基准测试和设置上都能显著提高大型语言模型的性能,在与无样本和完全监督方法相比具有一定竞争力甚至优越性能的同时,大型语言模型在提取重叠关系方面表现出了良好的性能,然而,不同的关系之间性能差异较大,大型语言模型相较于小型语言模型在处理挑战性的无适用项关系时表现出了有效性。
Oct, 2023
本文探讨了利用 GPT-3 和 Flan-T5 等大型语言模型来进行关系提取(RE)的问题,通过将关系线性化生成目标字符串的方法进行了序列到序列的任务处理,通过人工评估的方式,在不同程度的监督下评估了它们在标准 RE 任务中的表现,发现通过 GPT-3 进行的少量提示与现有完全监督模型大致相当,而使用 Chain-of-Thought 风格的解释进一步监督和微调后,该模型产生了最优结果。
May, 2023
通过将关系抽取与常见的指令调整任务(如问答)对齐,我们提出了 QA4RE 框架,对 LLM 进行零样本学习任务的实验表明,该框架可显著提高 LLM 的性能,并使其在挑战性和不常见的任务上胜过强零样本基线。
May, 2023
通过引入 AutoRE 模型和 RHF (Relation-Head-Facts) 的新型 RE 提取范式,结合 QLoRA (Parameters Efficient Fine Tuning) 算法构建了一个易于扩展的 DocRE 框架,在 RE-DocRED 数据集上展现了最佳性能,超过 dev 和 test 集合上分别为 TAG 10.03% 和 9.03% 的最新结果。
Mar, 2024
本文提出了一种 Multi-Choice 匹配网络来统一少样本关系抽取,使用三元组改写元训练来填补零样本和少样本之间的差距,实验结果表明所提出的方法在三种不同的少样本关系抽取任务上表现优异,是少样本关系抽取领域中表现最好的模型。
Mar, 2022
Fine-tuned large language models integrated into the Retrieval-Augmented-based approach demonstrate exceptional performance in identifying implicit relations, surpassing previous results on SemEVAL and achieving substantial gains on TACRED, TACREV, and Re-TACRED datasets.
Jun, 2024
本篇论文提出基于序列标注联合提取方法的小样本关系抽取任务,利用少量标注数据解决领域中标注数据不足的问题,并将两种实际序列标注模型应用于这个框架达到了良好的效果。
Aug, 2022
本研究介绍了 GPT-RE,这是一种解决大型语言模型在关系提取中局限性的方法,包括任务特定实体表现的使用和黄金标签引导推理逻辑的使用。该方法在四个数据集上的实验结果表明其超过了 GPT-3 基线并且在 Semeval 和 SciERC 数据集上实现了 SOTA 表现。
May, 2023
该研究构建了十个低资源语言的关系抽取数据集,并利用语言困惑度对翻译数据进行过滤,最后在这些数据集上评估了开源大型语言模型的性能。
Jun, 2024
本论文提出一种学习关系原型的通用方法来处理关系抽取中的长尾问题,并应用于基于共现图的嵌入学习来优化实体对与对应原型间的距离,并在两个数据集上进行了广泛实验以验证其有效性。
Nov, 2020