Jun, 2024

利用通用领域资源增强生物医学命名实体识别

PDF
TL;DR通过利用通用领域的命名实体识别数据集进行迁移学习，本研究提出了一个简单而有效的方法 GERBERA，用于训练预训练的生物医学语言模型，该模型能在少量生物医学资源的情况下，对多个生物医学数据集进行命名实体识别，其表现优于使用多个附加生物医学数据集训练的基准模型。
neural network-based biomedical named entity recognitionmulti-task learningtransfer learninggerberapre-trained biomedical language model
发现论文，激发创造
  • 深度多任务学习的交叉类型生物医学命名实体识别

    本文提出了一个多任务学习框架，可以用于对生物医学命名实体进行识别并提高性能。该模型在 15 个基准生物医学命名实体识别数据集上的实验表明，它比现有的命名实体识别系统和基线序列标注模型都要好，此外，性能提升大部分来源于在不同的标注数据之间共享生物医学实体相关的字符和单词级别的信息。

    Jan, 2018

  • 通过多粒度嵌入和增强标注进行多级生物医学命名实体识别

    本文提出了一种集成多种模型的混合方法，以解决生物医学实体识别中的局限性，并在 i2b2/2010 数据集上评估，得到了 90.11 的 F1 分数。

    Dec, 2023

  • BioMNER：用于生物医学方法实体识别的数据集

    本研究提出了一个新的生物医学方法实体识别数据集，利用自动化的生物医学方法实体识别和信息检索系统来辅助人工注释。此外，我们全面探索了一系列传统和现代的面向开放领域的命名实体识别方法，包括针对我们数据集进行定制的最新大规模语言模型（LLMs）的使用。我们的实证研究发现，令人惊讶的是，语言模型的大参数数量阻碍了与生物医学方法相关的实体提取模式的有效吸收。显著地，结合条件随机场（CRF），利用体积适中的 ALBERT 模型（仅 11MB），取得了最先进的性能（SOTA）。

    Jun, 2024

  • 你的生物医学命名实体识别模型如何推广到新实体？

    本文系统地分析了生物识别模型的三种识别能力：记忆，同义词泛化和概念泛化，并发现现有模型在识别同义词和新的生物概念方面存在局限性，这表明他们的泛化能力被高估了。作者调查了模型的失败案例，并确定了识别未见过的生物词汇的几个困难。最后，作者采用基于统计的去偏置方法作为简单的补救方法，显示出对未见过的提及的泛化改进。希望本文的分析和发现能够促进对 NER 模型泛化能力的进一步研究。

    Jan, 2021

  • 基于难度引导的领域自适应在低资源场景下识别生物医学命名实体

    本文提出了一种简单而有效的硬度引导域适应框架来提高在低资源情况下学习模型的适应性，并在生物医学数据集上进行实验证明，相较于最近发布的最先进的 MetaNER 模型，我们的模型能够显著提高性能。

    Nov, 2022

  • 一种基于 Transformer 的零样本和少样本生物医学命名实体识别方法

    本论文提出了一种基于 transformer 的方法来解决在生物医学领域中监督命名实体识别（NER）的挑战，包括零样本和少样本 NER。该方法基于将多类令牌分类的任务转化为二进制令牌分类，并在更多数据集和医学实体上预训练，从中可以学习给定实体和潜在类之间的语义关系。使用 PubMedBERT 调整模型进行的实验结果表明，该方法具有识别有限样本中的新实体的能力，对于零样本 NER 的平均 F1 得分达到 35.44％，对于 10 样本和 100 样本 NER 的平均 F1 得分分别为 69.94％和 79.51％。该方法可与目前的先进零样本和少样本 NER 方法相媲美甚至更好。

    May, 2023

  • GERNERMED++：德语医学 NLP 中的迁移学习

    本文提出了一个用于德语医学自然语言处理的统计模型，通过迁移学习，预训练的深度语言模型，词对齐和神经机器翻译的多技术组合，有效地在实体识别性能上取得了强大的结果。该模型可作为基线模型，为德国医疗场景的 NLP 研究社区提供帮助。

    Jun, 2022

  • 跨数据集和语言学习开放式命名实体识别的通用实体分类

    通过构建一个通用的、包含 400 多种实体类型的数据集 B2NERD，并使用减少冗余的数据修剪策略，在开放领域命名实体识别方面，提高了大型语言模型的泛化性能，优于 GPT-4 和以往的方法。

    Jun, 2024

  • 通过参考集增强的蒸馏自举方法实现生物医学命名实体识别（Biomedical Named Entity Recognition via Reference-Set Augmented Bootstrapping）

    本文提出了一种弱监督数据增强方法，用于提高命名实体识别在具有挑战性的领域中的表现，结果表明该方法显著提高了 NER 性能，同时讨论了影响该方法有效性的因素。

    Jun, 2019

  • NER-BERT: 一个用于低资源实体标注的预训练模型

    本文介绍了一种基于大规模语言模型的命名实体识别预训练方法，通过构建大型高质量命名实体语料库，最终得到的 NER-BERT 模型在九个不同领域的低资源场景下明显优于其他模型。

    Dec, 2021