ACLOct, 2020

UmlsBERT: 使用统一医学语言系统词表增强上下文嵌入的临床领域知识

PDF
TL;DRUmlsBERT is a contextual embedding model for biomedical natural language processing that integrates domain knowledge during pre-training via a novel knowledge augmentation strategy, outperforming existing models on named-entity recognition and clinical natural language inference tasks.
contextual word embedding modelsbiomedical natural language processingumlsbertdomain-specific modelsnamed-entity recognition
发现论文，激发创造
  • UMLS-KGI-BERT: 基于数据中心的转换器中的生物医学实体识别知识集成

    通过从 UMLS 中提取文本序列，该工作为丰富生物医学变压器编码器的语言表示做出了数据为中心的范例贡献，从而将基于图的学习目标与掩码语言预训练相结合，初步实验结果表明该框架提高了多个生物医学和临床命名实体识别任务的下游性能。

    Jul, 2023

  • 利用上下文嵌入增强临床概念抽取

    本研究旨在研究新的语言表示方法（如 ELMo，BERT）在医疗概念提取方面的应用，比较这些方法与传统词嵌入方法（word2vec，GloVe，fastText）的性能表现，并探讨将这些表示方法应用于医疗任务的可能性。研究结果表明，基于大型医学语料库的上下文嵌入方法表现出色，优于现有所有方法。此外，与传统词表示相比，上下文嵌入方法还包含有价值的语义信息。

    Feb, 2019

  • 使用知识优化生物医学预训练语言模型

    提出 KeBioLM 这一生物医学语言 pretrained language model，该模型明确利用了来自 UMLS UMLS knowledge bases 知识库的知识，取得了名词实体识别和关系提取的不错效果。

    Apr, 2021

  • 公开可用的临床 BERT 嵌入

    本文探讨了基于词汇的上下文嵌入模型在临床领域的应用，发现相对于通用语料库，专业领域语料库下的 BERT 模型在三个典型的临床自然语言处理任务上表现更加出色。

    Apr, 2019

  • UBERT: 用于大规模同义词预测的新型语言模型在 UMLS 元词汇表中的应用

    介绍了 UBERT，一种基于 BERT 的语言模型，通过替换原始的下一句预测任务为监督的同义预测任务进行 UMLS 术语的预训练，该模型能有效地在 UMLS Metathesaurus 的构建过程中替代 LexLM 模型，并且对超过 200 种医学基础词汇进行聚类并识别其中的同义词。

    Apr, 2022

  • 从语言模型中探测生物医学嵌入

    本文研究使用预训练的语言模型作为固定的特征提取器，并限制下游任务模型没有额外的序列建模层，探索在域内训练后的上下文词嵌入中携带的附加信息。结果发现，BioELMo 在编码实体类型和关系信息方面优于 BioBERT。

    Apr, 2019

  • 利用知识图谱将领域知识融入医疗自然语言推理

    本文研究如何将医学语言模型（BioELMo）的结构与医学任务中可用的知识图谱（UMLS）进行融合，通过实验验证结论表明融合策略不仅仅是可以改善 MedNLI 数据集上的 BioELMo 模型的基线表现，而且在医疗领域的任务中也导致了最前沿的结果。

    Aug, 2019

  • Med-BERT: 基于大规模结构化电子病历的预训练上下文化嵌入，用于疾病预测

    Med-BERT 是一种基于 BERT 框架训练的语境嵌入模型，适用于在数据集较小的情况下预测疾病。通过电子病历研究心力衰竭和胰腺癌的预测，表明 Med-BERT 具有较高的准确性和泛化性能，可以大幅提升深度学习模型的性能和推广医疗人工智能的发展。

    May, 2020

  • 基于上下文词嵌入的临床概念抽取

    本研究提出一个基于领域特定词汇上下文嵌入的临床问题、治疗和测试自动标注临床笔记的模型，使用上下文嵌入模型训练一个双向 LSTM-CRF 模型用于临床概念提取，并在 I2B2 2010 挑战数据集上进行了测试，最终性能优于现有模型 3.4%。

    Oct, 2018

  • 结合领域知识的上下文嵌入和模型加权在生物医学问答中的融合应用

    本研究提出了一种结合上下文嵌入方法、开放领域 QA 模型以及生物医学领域预训练模型 BioBERT 的生物医学问答方法，并采用无监督预训练和受监督微调的方式进行训练。实验结果表明，该方法在公共数据集 Biomrc 上相较于现有最先进系统有着显著的性能优势。

    Jun, 2022