Aug, 2023

BIOptimus：使用课程学习预训练最佳生物医学语言模型于命名实体识别

PDF
TL;DR本研究通过比较不同的预训练方法，包括从头开始预训练生物医学语言模型和在连续环境中预训练模型，并利用 BERT 模型内上下文中的现有权重提炼初始化新标记的权重，加快预训练阶段并提高命名实体识别性能；此外，我们还比较了掩码率、损坏策略和掩码策略对生物医学语言模型性能的影响；最终，我们通过课程学习和上下文化权重提炼方法提出了一种新的生物医学语言模型 (BIOptimus)，在多项生物医学命名实体识别任务中创造了新的技术水平
发现论文，激发创造
  • 针对生物医学自然语言处理的领域特定语言模型预训练

    本文通过编制全面的生物医学 NLP 基准测试集，证明了在丰富的未标记文本的领域中，从头开始针对特定领域的预训练语言模型相对于持续预训练通用领域语言模型，能够显著提高生物医学 NLP 任务的效果，并发现一些常用做法不必要。我们为社区发布了我们的最新预训练和任务特定模型，并创建了一个包含我们的 BLURB 基准测试的排行榜。

    Jul, 2020

  • UMLS-KGI-BERT: 基于数据中心的转换器中的生物医学实体识别知识集成

    通过从 UMLS 中提取文本序列，该工作为丰富生物医学变压器编码器的语言表示做出了数据为中心的范例贡献，从而将基于图的学习目标与掩码语言预训练相结合，初步实验结果表明该框架提高了多个生物医学和临床命名实体识别任务的下游性能。

    Jul, 2023

  • 从语言模型中探测生物医学嵌入

    本文研究使用预训练的语言模型作为固定的特征提取器，并限制下游任务模型没有额外的序列建模层，探索在域内训练后的上下文词嵌入中携带的附加信息。结果发现，BioELMo 在编码实体类型和关系信息方面优于 BioBERT。

    Apr, 2019

  • 双向语言建模在生物医学命名实体识别中的有效应用

    本文研究了如何利用无标注文本数据来改善生物医学 NER 模型的性能，通过训练一个双向语言模型（BiLM）以预训练一个与 BiLM 相同结构的 NER 模型，结果表明这种方法能够显著提高模型性能，并且能够加快模型训练速度，减少训练样本数量。

    Nov, 2017

  • 用于定位医学 BERT 和增强生物医学 BERT 的预训练技术

    本研究探讨了如何通过对特定语料库的过采样和使用更大的语料库进行预训练，在医学和其他领域中建立高性能的 BERT 模型以提高自然语言处理中信息提取的性能。

    May, 2020

  • 使用知识优化生物医学预训练语言模型

    提出 KeBioLM 这一生物医学语言 pretrained language model，该模型明确利用了来自 UMLS UMLS knowledge bases 知识库的知识，取得了名词实体识别和关系提取的不错效果。

    Apr, 2021

  • 面向西班牙语的生物医学和临床语言模型：中等资源情景下专业领域预训练的好处

    本文介绍了针对西班牙语的生物医学和临床语言模型，通过实验不同的预训练选择和测试领域数据，生成可用于实际临床数据的模型，并通过对比 NER 任务，证实了进行特定领域的预训练对提高下游任务性能非常重要。

    Sep, 2021

  • 针对临床和生物医学文本理解的德语语言模型的综合研究

    本文探讨了如何通过在特定领域数据上进行连续预训练，来适应领域特定需求，以提高医学自然语言处理任务的性能。实验证明，通过在临床数据或翻译文本上进行预训练已被证明是在医学领域适应性优化的可靠方法。

    Apr, 2024

  • 为生物医学自然语言处理调整大型神经语言模型

    本文系统研究了微生物 NLP 中 fine-tuning 的稳定性，提出了一系列技术来解决这个问题，并通过领域特定词汇和预训练来建立更健壮的模型。

    Dec, 2021

  • BioBERT：用于生物医学文本挖掘的预训练生物医学语言表示模型

    本文介绍了如何将自然语言处理 (NLP) 中最新的预训练语言模型 BERT 应用于生物医学文献的文本挖掘，并提出了一种自然语言处理 (BioBERT) 模型用于生物医学文本挖掘，该模型在以前的生物医学文本挖掘任务中表现得比 BERT 好并且公开了该模型的预训练权重以及源代码。

    Jan, 2019