UMLS-KGI-BERT: 基于数据中心的转换器中的生物医学实体识别知识集成

Jul, 2023

UMLS-KGI-BERT: 基于数据中心的转换器中的生物医学实体识别知识集成

UMLS-KGI-BERT: Data-Centric Knowledge Integration in Transformers for Biomedical Entity Recognition

Aidan Mannion, Thierry Chevalier, Didier Schwab, Lorraine Geouriot

TL;DR通过从 UMLS 中提取文本序列，该工作为丰富生物医学变压器编码器的语言表示做出了数据为中心的范例贡献，从而将基于图的学习目标与掩码语言预训练相结合，初步实验结果表明该框架提高了多个生物医学和临床命名实体识别任务的下游性能。

Abstract

pre-trained transformer language models (LMs) have in recent years become the dominant paradigm in applied NLP. These models have achieved state-of-the-art performance on tasks such as information extraction, question answering, sentiment analysis, document classification and many othe

pre-trained transformer language models biomedical transformer-encoder lms umls graph-based learning objectives clinical named entity recognition (ner) tasks

发现论文，激发创造

使用知识优化生物医学预训练语言模型

提出 KeBioLM 这一生物医学语言 pretrained language model，该模型明确利用了来自 UMLS UMLS knowledge bases 知识库的知识，取得了名词实体识别和关系提取的不错效果。

Apr, 2021

从生物医学文献中进行意图识别和实体提取

通过全面的实证评估，我们表明在生物医学文本中，受监督的微调方法仍然相关且比通用性的大型语言模型更有效，如 PubMedBERT 可以仅凭 5 个受监督示例就能在命名实体识别任务上超过 ChatGPT。

Apr, 2024

UmlsBERT: 使用统一医学语言系统词表增强上下文嵌入的临床领域知识

UmlsBERT is a contextual embedding model for biomedical natural language processing that integrates domain knowledge during pre-training via a novel knowledge augmentation strategy, outperforming existing models on named-entity recognition and clinical natural language inference tasks.

Oct, 2020

运用适配器模块和知识图谱拓宽生物医学语言模型的知识增强

本文介绍了一种使用轻量级适配器模块将结构化的生物医学知识注入到预训练语言模型中的方法，并对该方法在三个下游任务中的性能进行了测试和分析。

Dec, 2023

面向临床自然语言处理的轻量级 Transformer

通过知识蒸馏和不断学习等技术，本研究着眼于发展处理临床文本的高效轻量级语言模型，与生物医学文本数据训练的大型模型相比，这些模型效果相当甚至更好，并超越了任何其他训练过的小型模型在自然语言推理、关系提取、命名实体识别和序列分类等临床文本挖掘任务上的表现。

Feb, 2023

BIOptimus：使用课程学习预训练最佳生物医学语言模型于命名实体识别

本研究通过比较不同的预训练方法，包括从头开始预训练生物医学语言模型和在连续环境中预训练模型，并利用 BERT 模型内上下文中的现有权重提炼初始化新标记的权重，加快预训练阶段并提高命名实体识别性能；此外，我们还比较了掩码率、损坏策略和掩码策略对生物医学语言模型性能的影响；最终，我们通过课程学习和上下文化权重提炼方法提出了一种新的生物医学语言模型 (BIOptimus)，在多项生物医学命名实体识别任务中创造了新的技术水平

Aug, 2023

Transformer 与生物医学背景知识的表示

我们研究了基于 transformer 模型（如 BioBERT 和 BioMegatron）在公开的生物医学语料库的基础上如何适应生物医学领域，以及它们编码和表征生物知识的潜力和在癌症精准医学中的应用 - 即，解释基因组变异的临床意义。通过探测、分析和比较这些模型中的基因、变异、药物和疾病的嵌入内部属性，我们证明这些模型确实对生物知识进行了编码，但在针对特定任务进行微调时会失去部分知识。最后，我们分析了模型在数据集中偏见和不平衡方面的行为。

Feb, 2022

多模态基于图的转换器框架用于生物医学关系抽取

本研究介绍了一种使用多模态线索（如分子结构）帮助模型学习实体（蛋白质）的多组学生物信息的新颖框架，以图形为基础的多模态学习机制利用 GraphBERT 模型编码了文本和分子结构信息，并利用不同模态的基础特征进行端到端的学习。在生物医学领域的蛋白质相互作用任务中，我们的提出的广义方法发现受到了领域特定模态的额外获益。

Jul, 2021

双向语言建模在生物医学命名实体识别中的有效应用

本文研究了如何利用无标注文本数据来改善生物医学 NER 模型的性能，通过训练一个双向语言模型（BiLM）以预训练一个与 BiLM 相同结构的 NER 模型，结果表明这种方法能够显著提高模型性能，并且能够加快模型训练速度，减少训练样本数量。

Nov, 2017

针对临床和生物医学文本理解的德语语言模型的综合研究

本文探讨了如何通过在特定领域数据上进行连续预训练，来适应领域特定需求，以提高医学自然语言处理任务的性能。实验证明，通过在临床数据或翻译文本上进行预训练已被证明是在医学领域适应性优化的可靠方法。

Apr, 2024