通过从 UMLS 中提取文本序列，该工作为丰富生物医学变压器编码器的语言表示做出了数据为中心的范例贡献，从而将基于图的学习目标与掩码语言预训练相结合，初步实验结果表明该框架提高了多个生物医学和临床命名实体识别任务的下游性能。

Jul, 2023

本文介绍了一种使用轻量级适配器模块将结构化的生物医学知识注入到预训练语言模型中的方法，并对该方法在三个下游任务中的性能进行了测试和分析。

Dec, 2023

将基因组学实体链接到自然语言处理任务中，提出了一种使用知识图谱信息预训练生成式大型语言模型的新框架。

Aug, 2023

通过创建生物医学知识三元组的基准测试 BioLAMA，研究了预训练语言模型是否可用作具有生物医学特定领域知识的知识库。发现在近期提出的探测方法下，生物医学语言模型可以在检索生物医学知识方面取得 18.51% 的精确度，但多数预测与无主题的提示模板高度相关，因此限制了它们作为特定领域知识库的能力。

Sep, 2021

通过在多语种预训练模型 XLM-R 基础上采用基于知识的方法，将其转化为生物医学领域的模型 KBioXLM，并通过三个粒度的知识对齐来构建生物医学多语种语料库，从而在跨语言零样本场景中达到显著的性能提升。

Nov, 2023

通过将大型语言模型（LLMs）应用于生物医学命名实体识别（NER）任务，将 NER 任务分解为实体跨度提取和实体类型确定两个步骤，同时注入实体知识以解决 LLM 在预测实体类别时缺乏领域知识的问题，实验证明了我们的两步 BioNER 方法相对于之前的少样本 LLM 基线在性能上有显著提高，而引入外部知识则显著增强了实体类别确定性能。

Sep, 2023

UmlsBERT is a contextual embedding model for biomedical natural language processing that integrates domain knowledge during pre-training via a novel knowledge augmentation strategy, outperforming existing models on named-entity recognition and clinical natural language inference tasks.

Oct, 2020

本文研究如何将医学语言模型（BioELMo）的结构与医学任务中可用的知识图谱（UMLS）进行融合，通过实验验证结论表明融合策略不仅仅是可以改善 MedNLI 数据集上的 BioELMo 模型的基线表现，而且在医疗领域的任务中也导致了最前沿的结果。

Aug, 2019

本研究通过比较不同的预训练方法，包括从头开始预训练生物医学语言模型和在连续环境中预训练模型，并利用 BERT 模型内上下文中的现有权重提炼初始化新标记的权重，加快预训练阶段并提高命名实体识别性能；此外，我们还比较了掩码率、损坏策略和掩码策略对生物医学语言模型性能的影响；最终，我们通过课程学习和上下文化权重提炼方法提出了一种新的生物医学语言模型 (BIOptimus)，在多项生物医学命名实体识别任务中创造了新的技术水平

Aug, 2023

通过提出一个新的跨语言生物医学实体链接任务并建立一个涵盖 10 种语言的基准测试，本文研究了在标准英语生物医学实体链接任务之外，标准、知识增强的单语和多语言语言模型的能力。同时解决了把资源丰富的语言中的领域特定知识传递给资源贫乏的语言的挑战，并提出并评估了一系列的跨语言传递方法。研究表明，本文提出的领域特定传递方法在所有目标语言中均获得了持续的提高，有时可高达 20 个 Precision@1 点，而无需目标语言具有领域内的知识和对应的并行数据。

May, 2021