EMNLPAug, 2019

利用知识图谱将领域知识融入医疗自然语言推理

PDF
TL;DR本文研究如何将医学语言模型（BioELMo）的结构与医学任务中可用的知识图谱（UMLS）进行融合，通过实验验证结论表明融合策略不仅仅是可以改善 MedNLI 数据集上的 BioELMo 模型的基线表现，而且在医疗领域的任务中也导致了最前沿的结果。
biomedicalembeddingsmedical nli taskknowledge graphesim model
发现论文，激发创造
  • 运用适配器模块和知识图谱拓宽生物医学语言模型的知识增强

    本文介绍了一种使用轻量级适配器模块将结构化的生物医学知识注入到预训练语言模型中的方法，并对该方法在三个下游任务中的性能进行了测试和分析。

    Dec, 2023

  • 生物医学知识图谱嵌入的基准与最佳实践

    利用知识图谱嵌入学习方法，探索在 SNOMED-CT 知识图谱中学习生物医学知识表征的能力，提供性能测试及最佳实践，并强调利用知识图谱多关系特性学习知识表征的重要性。

    Jun, 2020

  • 使用知识优化生物医学预训练语言模型

    提出 KeBioLM 这一生物医学语言 pretrained language model，该模型明确利用了来自 UMLS UMLS knowledge bases 知识库的知识，取得了名词实体识别和关系提取的不错效果。

    Apr, 2021

  • 临床领域自然语言推理的启示

    介绍了 MedNLI 数据集的自然语言推理任务 (NLI)，并提出了两种解决深度神经网络模型在特定领域泛化能力差的方法：利用开放域数据集进行迁移学习和结合外部数据和词汇来源的领域知识。实验结果表明，两种方法均可提高模型性能。

    Aug, 2018

  • 语言模型敲响了知识图谱的丧钟

    使用深度学习的语言模型在医疗领域的应用取代了以往使用知识图谱的方法。

    Jan, 2023

  • 多语言结构化放射学报告的知识图谱嵌入

    我们引入了一种新颖的轻量级基于图的嵌入方法，特别适用于放射学报告，通过多语言 SNOMED 临床术语知识库连接报告中的医学术语，揭示了临床术语之间的潜在关系，实现了更好地理解和临床准确性的表示，而不依赖于大规模预训练数据集。我们展示了这种嵌入方法在 X 光报告的疾病分类和图像分类两个任务上的应用，并且相较于基于 BERT 的模型，在体积和训练数据需求方面要小得多。同时，我们展示了图嵌入方法如何利用跨模态知识传递，在不同语言之间具有可用性。

    Sep, 2023

  • 结合对比学习和知识图谱嵌入开发意大利语医学词嵌入

    通过对比学习和知识图谱嵌入的结合，尝试提高意大利医学领域中可用的词嵌入，从而提高医学术语之间的语义相似性，并获得了比起始模型显著的性能提升。

    Nov, 2022

  • UMLS-KGI-BERT: 基于数据中心的转换器中的生物医学实体识别知识集成

    通过从 UMLS 中提取文本序列，该工作为丰富生物医学变压器编码器的语言表示做出了数据为中心的范例贡献，从而将基于图的学习目标与掩码语言预训练相结合，初步实验结果表明该框架提高了多个生物医学和临床命名实体识别任务的下游性能。

    Jul, 2023

  • UmlsBERT: 使用统一医学语言系统词表增强上下文嵌入的临床领域知识

    UmlsBERT is a contextual embedding model for biomedical natural language processing that integrates domain knowledge during pre-training via a novel knowledge augmentation strategy, outperforming existing models on named-entity recognition and clinical natural language inference tasks.

    Oct, 2020

  • 利用知识图谱和潜在语义插补法更新科学词嵌入

    本文介绍了如何使用 LSI 模型从最新的知识图谱中插入诸如罕见术语、新兴术语之类的领域特定词汇向量，以生成可靠的罕见和 OOV 术语的嵌入向量。以医学为例，使用 MeSH 知识图谱来插入生成生物医学术语嵌入向量，无需重新训练即可评估所得嵌入模型的可靠性。

    Oct, 2022