TL;DR通过引入负实例并采用分层匹配算法,本研究在大型语言模型上实现了对命名实体识别任务的改进,提出了改进的零样本性能的生成式 NER 系统 GNER。
Abstract
large language models (LLMs) have demonstrated impressive capabilities for
generalizing in unseen tasks. In the named entity recognition (NER) task,
recent advancements have seen the remarkable improvement of LLM
本文介绍了一种基于 GPT 模型的 NER 算法 ——GPT-NER,它通过将序列标注任务转化为生成任务来弥补 LLMs 在 NER 任务上的缺陷,并提出自我验证策略以解决 LLMs 易出现的幻觉问题。实验结果表明,该算法表现与有监督算法相当,在低资源学习中表现显着优于有监督模型,具有实现限制样本 NER 应用的能力。
我们提出了统一的标签感知令牌级对比学习框架,通过利用标签语义作为后缀提示来丰富上下文,同时优化上下文 - 上下文和上下文 - 标签对比学习目标,从而提高推广辨别性的上下文表示。广泛的实验表明我们的方法在各种传统测试领域和大规模少样本 NER 数据集上优于先前的最先进模型,微粒 F1 分数平均绝对增益达到 7%。进一步的分析揭示了我们模型受益于其强大的迁移能力和改进的上下文表示。