EMNLPOct, 2020

将疾病知识融入 BERT 模型用于医疗问答、医学推理和疾病名称识别

PDF
TL;DR本文介绍了利用有关疾病的特定知识和 BERT 模型相结合来提高健康相关任务（例如消费者健康问答和医疗语言推理）的准确性，实验结果表明，这种方法在多数情况下都能够显著改善任务效果。
发现论文，激发创造
  • 面向知识注入的自动疾病诊断助手

    通过医患互动，将医学知识与病症识别相结合，建立一种诊断助手，显著提高疾病识别的能力，并整合视觉感知信息以增强诊断助手的功能。

    May, 2024

  • 生物医学问答预训练语言模型

    本文研究 BioBERT（一种预训练的生物医学语言模型）在回答生物医学问题方面的性能，结果表明使用适当的前 / 后处理策略可以获得最佳性能。

    Sep, 2019

  • Med-BERT: 基于大规模结构化电子病历的预训练上下文化嵌入，用于疾病预测

    Med-BERT 是一种基于 BERT 框架训练的语境嵌入模型，适用于在数据集较小的情况下预测疾病。通过电子病历研究心力衰竭和胰腺癌的预测，表明 Med-BERT 具有较高的准确性和泛化性能，可以大幅提升深度学习模型的性能和推广医疗人工智能的发展。

    May, 2020

  • 基于 BERT 的临床知识提取用于生物医学知识图谱构建和分析

    本研究提出了使用 BERT 模型和条件随机场层从临床记录中提取和分析生物医学知识的端到端方法，包括自然语言处理模型用于命名实体识别和关系提取等步骤，可以用于构建医学知识图谱并用于问题解答。实验结果表明，该方法对于 505 位真实患者的生物医学非结构化临床记录的命名实体识别和关系提取的准确率分别为 90.7% 和 88%。

    Apr, 2023

  • UMLS-KGI-BERT: 基于数据中心的转换器中的生物医学实体识别知识集成

    通过从 UMLS 中提取文本序列，该工作为丰富生物医学变压器编码器的语言表示做出了数据为中心的范例贡献，从而将基于图的学习目标与掩码语言预训练相结合，初步实验结果表明该框架提高了多个生物医学和临床命名实体识别任务的下游性能。

    Jul, 2023

  • 使用知识优化生物医学预训练语言模型

    提出 KeBioLM 这一生物医学语言 pretrained language model，该模型明确利用了来自 UMLS UMLS knowledge bases 知识库的知识，取得了名词实体识别和关系提取的不错效果。

    Apr, 2021

  • 知识图谱融合用于语言模型微调

    探索将知识图谱注入 Bert 模型的微调阶段来提高语言理解，并通过实验证明注入相关高质量知识对于特定任务有显著的性能提升。

    Jun, 2022

  • 用于定位医学 BERT 和增强生物医学 BERT 的预训练技术

    本研究探讨了如何通过对特定语料库的过采样和使用更大的语料库进行预训练，在医学和其他领域中建立高性能的 BERT 模型以提高自然语言处理中信息提取的性能。

    May, 2020

  • 探索预训练语言模型中的疾病知识

    本文介绍一种新的基准测试 ——DisKnE，用于评估疾病知识。该测试使用正例进行注释，并以对抗性的方式构建负例。在对临床 / 生物医学领域的预训练模型进行测试时，发现它们的表现大幅下降。

    Jun, 2021

  • UmlsBERT: 使用统一医学语言系统词表增强上下文嵌入的临床领域知识

    UmlsBERT is a contextual embedding model for biomedical natural language processing that integrates domain knowledge during pre-training via a novel knowledge augmentation strategy, outperforming existing models on named-entity recognition and clinical natural language inference tasks.

    Oct, 2020