拆分元学习用于少样本命名实体识别
本文提出了一种有效地建立识别命名实体(NER)系统的方法,基于最近的基于转换器的自我监督预训练语言模型(PLMs),并探讨了三种正交的方案来改进针对少样例情况的模型泛化能力,通过大量实验结果表明,我们的方法在少数样例学习环境中显著改善或优于基于域标记微调的 PLM 线性分类器等基线方法,同时在无训练和少样例学习环境下建立了最新的业界记录。
Dec, 2020
我们的研究提出了一个改进的少样本命名实体识别流程,利用预训练的跨领域跳板标识检测器和大规模语言模型,有效减少了基本特征的重复训练,同时消除了对少样本的依赖,通过广泛的实验表明,在各种数据集上,我们的模型在细粒度少样本命名实体识别方面胜过基线模型,包括 ChatGPT。
Jun, 2024
该研究提出了一个基于预训练语言模型的新型 NER 框架:SpanNER,在低资源环境下的 few-shot 学习、领域转移和 zero-shot 学习设置中,可以识别从未出现的实体类,通过实验可知其相比于最佳基准线平均能提高 10%,23%和 26%。
Sep, 2021
本文提出了 MeTNet 方法,使用三元组网络映射样本和原型向量到低维空间,通过自适应的边缘控制实体类型,实现了准确的 few-shot 命名实体识别。
Feb, 2023
本论文研究使用(基于度量学习的)原型网络来进行少样本命名实体识别任务,其可以学习单词的中间表示并对其进行聚类来进行类别分类,通过将该技术与迁移学习结合使用,可以在只有很少的训练实例的情况下实现良好的分类器,进而实现零样本学习。
Dec, 2018
我们提出了混合多阶段解码的少样本命名实体识别方法,通过实体跨度检测和实体分类的两个阶段,结合对比学习模块以增强实体表示,实现了在少样本情况下识别新类型命名实体的能力。
Apr, 2024
通过多任务预训练的多任务语义分解框架,通过引入基于示范和对比学习的两种新型预训练任务(示范式遮蔽语言建模和类对比判别),能够有效地融入实体边界信息并加强预训练语言模型中的实体表示。在下游主任务中,通过语义分解方法引入多任务联合优化框架,使模型能够整合两种不同的语义信息进行实体分类,实验证明该方法在两个少样本命名实体识别基准测试中始终优于强基线模型,并通过广泛的分析验证了其有效性和泛化能力。
Aug, 2023
提出了 RoBERTa+MAML 方法,用于解决 StackOverflow 上的注释挑战,通过元学习来进行少样本命名实体识别,并在 StackOverflow 命名实体语料库上取得了 5% 的 F1 分数改进。通过增强领域特定短语处理来进一步提高结果。
Apr, 2024
本文介绍了一种基于 SpanProto 和 prototypical learning 的 few-shot NER 方法,并使用 margin-based loss 进一步提高了模型性能。实验表明,该模型在多个基准测试中表现优异。
Oct, 2022