Oct, 2022

基于知识图谱增强的 BERT 模型在多类型医学文本分类中的应用

PDF
TL;DR为了解决医疗文本中医学术语、文本类型等多样性问题，我们提出一种名为 KG-MTT-BERT 的模型，通过医疗知识图谱的整合，拓展了 BERT 模型，可以更好地处理长文本和多类型文本，并在 DRG 分类等任务上表现优异。
medical text learninghealthcareehr systemskg-mtt-bert modelmedical knowledge graph
发现论文，激发创造
  • 基于 BERT 的临床知识提取用于生物医学知识图谱构建和分析

    本研究提出了使用 BERT 模型和条件随机场层从临床记录中提取和分析生物医学知识的端到端方法，包括自然语言处理模型用于命名实体识别和关系提取等步骤，可以用于构建医学知识图谱并用于问题解答。实验结果表明，该方法对于 505 位真实患者的生物医学非结构化临床记录的命名实体识别和关系提取的准确率分别为 90.7% 和 88%。

    Apr, 2023

  • KG-BERT: 知识图谱补全任务的 BERT 模型

    本研究提出使用预训练语言模型来完成知识图谱，使用 KG-BERT 架构对知识图谱中的三元组进行建模，通过实验结果显示，该方法在三元组分类、链接预测和关系预测任务中均可以达到最佳表现。

    Sep, 2019

  • 将医学知识图谱结合到大型语言模型中用于诊断预测

    通过结合医学知识图谱和新颖的图模型 Dr.Knows，我们提出一种创新的方法来提高大型语言模型在自动诊断生成领域的能力，从而消除预训练的需要，提高自动诊断生成的准确性。

    Aug, 2023

  • 多语言结构化放射学报告的知识图谱嵌入

    我们引入了一种新颖的轻量级基于图的嵌入方法，特别适用于放射学报告，通过多语言 SNOMED 临床术语知识库连接报告中的医学术语，揭示了临床术语之间的潜在关系，实现了更好地理解和临床准确性的表示，而不依赖于大规模预训练数据集。我们展示了这种嵌入方法在 X 光报告的疾病分类和图像分类两个任务上的应用，并且相较于基于 BERT 的模型，在体积和训练数据需求方面要小得多。同时，我们展示了图嵌入方法如何利用跨模态知识传递，在不同语言之间具有可用性。

    Sep, 2023

  • 医学文档理解的分层 BERT 模型

    提出了一种名为 MDBERT 的新模型，采用自下而上的分层架构，能够对长且具有多层语义的医学文件进行编码，并在多个 NLU 任务中得到有效应用。

    Mar, 2022

  • MT-Clinical BERT: 使用多任务学习扩展临床信息抽取能力的 BERT 模型

    采用 Multitask-Clinical BERT 模型，可同时执行包括实体抽取、PHI 识别、语言蕴含和相似性在内的 8 种临床任务，极大减轻了信息提取系统的工程负担且表现出色。

    Apr, 2020

  • K-BERT：利用知识图谱实现语言表示

    提出了一种基于知识图谱的语言表示模型（K-BERT），可以将领域特定的知识注入到模型中，以用于解决需要专家知识的领域特定问题，实验证明其在 12 个 NLP 任务中有很好的表现。

    Sep, 2019

  • 使用知识图谱嵌入和语言模型进行生物医学多跳问答

    这篇研究论文探讨了如何使用自然语言问答，相结合的语言模型和 KG 嵌入来回答生物学家们所提出的一系列自由形式的问题，其 KG 数据集来源于 Hetionet，并利用该数据集创建一个多跳生物医学问答数据集以测试多跳生物医学问答系统。

    Nov, 2022

  • KG-Rank: 基于知识图谱和排序技术增强医学问答的大型语言模型

    本研究开发了一个增强的 LLM 框架 KG-Rank，利用医学知识图谱和排名技术，旨在改善医学领域中的自由文本问答。评估结果显示，KG-Rank 在 ROUGE-L 得分上取得了超过 18% 的改进，证明了 KG-Rank 的有效性和潜力。

    Mar, 2024

  • UMLS-KGI-BERT: 基于数据中心的转换器中的生物医学实体识别知识集成

    通过从 UMLS 中提取文本序列，该工作为丰富生物医学变压器编码器的语言表示做出了数据为中心的范例贡献，从而将基于图的学习目标与掩码语言预训练相结合，初步实验结果表明该框架提高了多个生物医学和临床命名实体识别任务的下游性能。

    Jul, 2023