一种基于 Transformer 的零样本和少样本生物医学命名实体识别方法

May, 2023

一种基于 Transformer 的零样本和少样本生物医学命名实体识别方法

A transformer-based method for zero and few-shot biomedical named entity recognition

Miloš Košprdić, Nikola Prodanović, Adela Ljajić, Bojana Bašaragin, Nikola Milošević

TL;DR本论文提出了一种基于 transformer 的方法来解决在生物医学领域中监督命名实体识别（NER）的挑战，包括零样本和少样本 NER。该方法基于将多类令牌分类的任务转化为二进制令牌分类，并在更多数据集和医学实体上预训练，从中可以学习给定实体和潜在类之间的语义关系。使用 PubMedBERT 调整模型进行的实验结果表明，该方法具有识别有限样本中的新实体的能力，对于零样本 NER 的平均 F1 得分达到 35.44％，对于 10 样本和 100 样本 NER 的平均 F1 得分分别为 69.94％和 79.51％。该方法可与目前的先进零样本和少样本 NER 方法相媲美甚至更好。

Abstract

supervised named entity recognition (NER) in the biomedical domain is dependent on large sets of annotated texts with the given named entities, whose creation can be time-consuming and expensive. Furthermore, the

supervised named entity recognition biomedical domain zero-shot ner few-shot ner transformer-based method

发现论文，激发创造

少样本命名实体识别：综合研究

本文提出了一种有效地建立识别命名实体（NER）系统的方法，基于最近的基于转换器的自我监督预训练语言模型（PLMs），并探讨了三种正交的方案来改进针对少样例情况的模型泛化能力，通过大量实验结果表明，我们的方法在少数样例学习环境中显著改善或优于基于域标记微调的 PLM 线性分类器等基线方法，同时在无训练和少样例学习环境下建立了最新的业界记录。

Dec, 2020

通过多粒度嵌入和增强标注进行多级生物医学命名实体识别

本文提出了一种集成多种模型的混合方法，以解决生物医学实体识别中的局限性，并在 i2b2/2010 数据集上评估，得到了 90.11 的 F1 分数。

Dec, 2023

大规模生物医学命名实体识别

通过在 Apache Spark 之上重新实现 Bi-LSTM-CNN-Char 深度学习架构，我们提出了一个单可训练的命名实体识别（NER）模型，该模型在七个公共生物医学基准测试中获得了新的最优结果，而不使用像 BERT 这样的重型上下文嵌入。该模型在生产级别代码库中作为开源 Spark NLP 库的一部分免费提供，并且可以扩展以支持其他人类语言，而不需要更改代码。

Nov, 2020

医疗文本中的少样本命名实体识别

本研究在仅有 10 个注释示例的情况下，通过使用预训练权重、超参数调整、预处理数据、自定义词嵌入和优化词外词汇等 5 个因素改善了命名实体识别任务，并将其 F1 得分从 69.3% 提高到 78.87%。

Nov, 2018

基于演示学习的机器阅读理解下的少样本生物医学实体识别

通过将生物医学实体识别重新定义为机器阅读理解问题，提出了一种基于演示学习的方法来改进在少样本学习场景下的模型识别生物医学实体的能力。使用六个基准数据集进行评估，结果表明 MRC 语言模型在识别生物医学实体方面比序列标注方法更为高效，并且可以与依赖大量标注数据的全监督学习方法竞争成功，为少样本生物医学实体识别方法的未来发展提供了可能的方向。

Aug, 2023

从生物医学文献中进行意图识别和实体提取

通过全面的实证评估，我们表明在生物医学文本中，受监督的微调方法仍然相关且比通用性的大型语言模型更有效，如 PubMedBERT 可以仅凭 5 个受监督示例就能在命名实体识别任务上超过 ChatGPT。

Apr, 2024

科学命名实体识别的分层 Transformer 模型

使用 BERT 和 transformer 层的简单和有效的 Named Entity Recognition 方法在计算机科学和生物医学领域的三个基准数据集上优于当前最先进技术，无需外部资源或特定数据增强。

Mar, 2022

生物医学实体识别的部分注释学习

本文探讨了应用部分标注学习方法在缺失生物医学命名实体注释的场景中进行实体识别的有效性，并提出了一个新的 TS-PubMedBERT-Partial-CRF 模型来提高实体识别性能。实验结果表明，该模型在高缺失实体比例下的 F1-score 比使用全标注学习模型 PubMedBERT Tagger 高 38％，同时其实体识别的召回率也达到了与全标注学习数据集上的上界相竞争的水平。

May, 2023

从语言描述中学习：基于分解框架的低样本命名实体识别

该研究提出了一个基于预训练语言模型的新型 NER 框架：SpanNER，在低资源环境下的 few-shot 学习、领域转移和 zero-shot 学习设置中，可以识别从未出现的实体类，通过实验可知其相比于最佳基准线平均能提高 10％，23％和 26％。

Sep, 2021

基于大规模标签解释学习的少样本命名实体识别

利用自然语言描述学习实体类型解释，通过大规模扩展实体类型和描述，可以显著提高零样本和少样本命名实体识别。

Mar, 2024