IJCAIJun, 2019

药物推荐的图增强 Transformer 预训练

PDF
TL;DR提出了 G-BERT，结合图神经网络和 BERT 进行医疗代码表示和药物推荐，在利用 EHR 数据预训练的就诊编码器中整合了 GNN 表示，并在单次就诊的患者的 EHR 数据上进行预训练，然后将预训练的访问编码器和表示进行下游预测任务的微调，实现了对药物推荐任务的最新成果。
medication recommendationgraph neural networksbertrepresentation learningehr data
发现论文，激发创造
  • Med-BERT: 基于大规模结构化电子病历的预训练上下文化嵌入，用于疾病预测

    Med-BERT 是一种基于 BERT 框架训练的语境嵌入模型，适用于在数据集较小的情况下预测疾病。通过电子病历研究心力衰竭和胰腺癌的预测，表明 Med-BERT 具有较高的准确性和泛化性能，可以大幅提升深度学习模型的性能和推广医疗人工智能的发展。

    May, 2020

  • 医学表示学习的图文多模态预训练

    本文介绍了 MedGTX，它是一个用于结构化和文本电子健康记录数据的多模态表示学习的预训练模型。MedGTX 使用图编码器和文本编码器来处理结构化数据和非结构化文本，并使用交叉模态编码器学习联合表示空间。通过在 MIMIC-III 上进行四个代理任务的预训练，并在两个临床基准测试和三个新的下游任务中对模型进行评估，结果始终显示出预训练模型对 EHR 中的结构化和非结构化信息在联合学习中的有效性。

    Mar, 2022

  • 医学术语嵌入的分层预训练

    这篇论文介绍了利用自然语言处理和表示学习生成医学术语的嵌入，以更好的预测临床决策和患者轨迹，提出了一个新的医学术语表示模型 HiPrBERT，并使用层次结构数据来训练和提高嵌入效果。

    Jul, 2023

  • 基于 BERT 的临床知识提取用于生物医学知识图谱构建和分析

    本研究提出了使用 BERT 模型和条件随机场层从临床记录中提取和分析生物医学知识的端到端方法，包括自然语言处理模型用于命名实体识别和关系提取等步骤，可以用于构建医学知识图谱并用于问题解答。实验结果表明，该方法对于 505 位真实患者的生物医学非结构化临床记录的命名实体识别和关系提取的准确率分别为 90.7% 和 88%。

    Apr, 2023

  • 基于语义分解技术的大型语言模型在电子健康记录数据上的学习改进

    本文介绍了 H-BERT，该模型采用完整的图树扩展表示 EHR 中的医疗编码，提高了病患归属感的预测，并创建了相关但临床不同表型的患者的不同表示。

    Nov, 2022

  • MedGPT：临床叙述中的医学概念预测

    使用命名实体识别和链接工具（即 MedCAT）对电子病历的自由文本部分进行结构化和组织，从而预测出一系列的未来医疗事件（最初是疾病），MedGPT 有效地处理了噪声和额外细粒度， 并在 King's College Hospital 的真实世界医院数据上表现出色。

    Jul, 2021

  • 使用时间图形表示对电子健康记录进行预测建模

    利用深度学习的预测模型，基于电子病历（EHR），在医疗保健领域备受关注。我们提出了一种新颖的时间异构图模型，将病人的 EHR 建模成历史访问节点和医疗事件节点，并利用时间感知访问节点来捕捉患者健康状况的变化，同时通过将时间边特征、全局位置编码和局部结构编码整合到异构图卷积中，捕捉了时间和结构信息。通过对三个真实数据集进行广泛实验，我们证实了 TRANS 的有效性，结果表明我们提出的方法达到了最先进的性能。

    May, 2024

  • 基于时间感知的异构图变换器与自适应注意力合并的健康事件预测

    通过利用电子健康记录 (EHR) 数据在医学领域的广泛应用，使用深度学习方法在疾病风险预测方面取得了早期成功。然而，现有研究对 EHR 数据的潜力未能充分利用，存在着许多关键问题，如融入疾病领域知识、异构学习疾病表示以及捕捉疾病进展的时间动态等。为了克服这些限制，本研究引入了一种新型的异构图学习模型，旨在融合疾病领域知识，阐明药物和疾病之间错综复杂的关系。该模型创新性地将时间数据融入到访问级嵌入中，并利用一个考虑时间的 Transformer 和自适应注意机制来生成患者表示。经过两个医疗数据集的评估，我们的方法在预测准确性和可解释性方面表现出显著提升，为个性化和主动式的医疗管理迈出了实质性的进展。

    Apr, 2024

  • 基于知识图谱增强的 BERT 模型在多类型医学文本分类中的应用

    为了解决医疗文本中医学术语、文本类型等多样性问题，我们提出一种名为 KG-MTT-BERT 的模型，通过医疗知识图谱的整合，拓展了 BERT 模型，可以更好地处理长文本和多类型文本，并在 DRG 分类等任务上表现优异。

    Oct, 2022

  • TAPER：基于时间的病人电子病历表示

    应用 Transformer 网络和 BERT 语言模型，将包含多种数据模式的电子病历编入一个统一矢量表示，从而实现了病人就诊数据的高效表示，这种方法在 MIMIC-III ICU 数据集上得到了出色的性能和可泛化性。

    Aug, 2019