弱监督下的少于单次投射:命名实体识别
我们提出了一种新的名词实体识别方法,称为基于示例的实体识别,在缺乏数据的情况下通过受到问答启发,使用少量支持示例来识别新领域中的实体范围,与当前最先进的方法相比,该方法表现出更好的性能,特别是在使用少量支持示例时。
Aug, 2020
本文提出了一种有效地建立识别命名实体(NER)系统的方法,基于最近的基于转换器的自我监督预训练语言模型(PLMs),并探讨了三种正交的方案来改进针对少样例情况的模型泛化能力,通过大量实验结果表明,我们的方法在少数样例学习环境中显著改善或优于基于域标记微调的 PLM 线性分类器等基线方法,同时在无训练和少样例学习环境下建立了最新的业界记录。
Dec, 2020
我们的研究提出了一个改进的少样本命名实体识别流程,利用预训练的跨领域跳板标识检测器和大规模语言模型,有效减少了基本特征的重复训练,同时消除了对少样本的依赖,通过广泛的实验表明,在各种数据集上,我们的模型在细粒度少样本命名实体识别方面胜过基线模型,包括 ChatGPT。
Jun, 2024
我们提出了统一的标签感知令牌级对比学习框架,通过利用标签语义作为后缀提示来丰富上下文,同时优化上下文 - 上下文和上下文 - 标签对比学习目标,从而提高推广辨别性的上下文表示。广泛的实验表明我们的方法在各种传统测试领域和大规模少样本 NER 数据集上优于先前的最先进模型,微粒 F1 分数平均绝对增益达到 7%。进一步的分析揭示了我们模型受益于其强大的迁移能力和改进的上下文表示。
Apr, 2024
该研究提出了一个基于预训练语言模型的新型 NER 框架:SpanNER,在低资源环境下的 few-shot 学习、领域转移和 zero-shot 学习设置中,可以识别从未出现的实体类,通过实验可知其相比于最佳基准线平均能提高 10%,23%和 26%。
Sep, 2021
本文提出两种弱监督的跨语言实体标识方法,分别基于注释投影和词嵌入,无需使用目标语言的人工注释数据。同时,我们设计了两种协同解码方案,将两个基于投影的方法的输出相结合,评估表明这种组合性的方法优于其他三种弱监督方法。
Jul, 2017
本论文提出了一种基于 transformer 的方法来解决在生物医学领域中监督命名实体识别(NER)的挑战,包括零样本和少样本 NER。该方法基于将多类令牌分类的任务转化为二进制令牌分类,并在更多数据集和医学实体上预训练,从中可以学习给定实体和潜在类之间的语义关系。使用 PubMedBERT 调整模型进行的实验结果表明,该方法具有识别有限样本中的新实体的能力,对于零样本 NER 的平均 F1 得分达到 35.44%,对于 10 样本和 100 样本 NER 的平均 F1 得分分别为 69.94%和 79.51%。该方法可与目前的先进零样本和少样本 NER 方法相媲美甚至更好。
May, 2023
本文提出一种基于因果干预的少样本 NER 方法,通过背门调整和增量学习干预原型,避免了少样本选择偏差所带来的虚假相关性问题,并在不同基准测试中取得了新的最佳表现。
May, 2023
论文提出了一个基于最近邻学习和结构化推理的简单的少样本命名实体识别系统,使用一个有监督的 NER 模型在源领域上进行训练,作为特征提取器,提出了一种捕获实体标签之间标签依赖性的廉价但有效的方法,并将结构化解码与最近邻学习相结合,达到了先进的表现。该方法使得 F1 分数相对于以前基于元学习的系统提高了 6%至 16%的绝对值。
Oct, 2020