Mar, 2022

医学表示学习的图文多模态预训练

PDF
TL;DR本文介绍了 MedGTX，它是一个用于结构化和文本电子健康记录数据的多模态表示学习的预训练模型。MedGTX 使用图编码器和文本编码器来处理结构化数据和非结构化文本，并使用交叉模态编码器学习联合表示空间。通过在 MIMIC-III 上进行四个代理任务的预训练，并在两个临床基准测试和三个新的下游任务中对模型进行评估，结果始终显示出预训练模型对 EHR 中的结构化和非结构化信息在联合学习中的有效性。
electronic health recordsrepresentation learningstructured dataunstructured textmedgtx
发现论文，激发创造
  • 多模态数据的重要性：基于结构化和非结构化电子健康记录的语言模型预训练

    本文提出了一种名为 MedM-PLM 的医学多模态预训练语言模型，能够增强电子健康记录的表示能力，探索结构化和非结构化数据之间的相互作用，用于药物推荐、30 天再入院预测和 ICD 编码等三项临床任务，显示出比其他现有方法更好的性能和更全面的解释能力。

    Jan, 2022

  • 药物推荐的图增强 Transformer 预训练

    提出了 G-BERT，结合图神经网络和 BERT 进行医疗代码表示和药物推荐，在利用 EHR 数据预训练的就诊编码器中整合了 GNN 表示，并在单次就诊的患者的 EHR 数据上进行预训练，然后将预训练的访问编码器和表示进行下游预测任务的微调，实现了对药物推荐任务的最新成果。

    Jun, 2019

  • 多模态电子健康记录的分层预训练

    介绍了一种适用于层次多模式电子健康记录数据的新型、通用的预训练框架 MEDHMP，通过在八个涵盖三个级别的下游任务上的实验结果以及与 18 个基线的比较，证明了该框架的有效性。

    Oct, 2023

  • 全球对比训练与语言监督下的多模态电子健康记录

    现代电子健康记录（EHRs）通过顺序深度学习在个性化患者健康轨迹的跟踪方面拥有巨大的潜力，然而如何有效利用 EHRs 中的多个模态面临重大挑战，因为其复杂特性（如高维度、多模式、稀疏性、不同的记录频率和时间的不规则性）。为了应对医学时间序列中的稀疏性和时间间隔的不规则性，本文引入了一种新的多模态对比学习框架，重点关注医学时间序列和临床笔记。为了利用医学时间序列和临床笔记之间的相互关系，该框架配备了全局对比损失，将患者的多模态特征表示与相应的出院小结进行对齐。通过全局对比来学习区分性的多模态特征。在真实世界的 EHR 数据集上进行了大量实验，证明我们的框架在使用 UF 健康系统的多模态数据（来自 UF Health Gainesville、UF Health Jacksonville 和 UF Health Jacksonville-North 三家医院的 12 万多次大型住院手术）预测九种术后并发症发生的示例任务上优于现有方法。

    Apr, 2024

  • 错了肺！评估和提高医学数据无监督多模态编码器的可解释性

    在电子健康记录上进行多模态模型的预训练可以学习表示，以最小的监督进行下游任务的转移。最近的多模态模型在图像区域和句子之间引入了软局部对齐，这对医疗领域非常有意义，但标注结果发现图像区域与句子之间的关注并不一致。一些简单的技术，如允许模型退出图像的关注和少量微调，可能有望改善对齐，减少对人工干预的依赖。

    Oct, 2022

  • 使用时间图形表示对电子健康记录进行预测建模

    利用深度学习的预测模型，基于电子病历（EHR），在医疗保健领域备受关注。我们提出了一种新颖的时间异构图模型，将病人的 EHR 建模成历史访问节点和医疗事件节点，并利用时间感知访问节点来捕捉患者健康状况的变化，同时通过将时间边特征、全局位置编码和局部结构编码整合到异构图卷积中，捕捉了时间和结构信息。通过对三个真实数据集进行广泛实验，我们证实了 TRANS 的有效性，结果表明我们提出的方法达到了最先进的性能。

    May, 2024

  • MedGPT：临床叙述中的医学概念预测

    使用命名实体识别和链接工具（即 MedCAT）对电子病历的自由文本部分进行结构化和组织，从而预测出一系列的未来医疗事件（最初是疾病），MedGPT 有效地处理了噪声和额外细粒度， 并在 King's College Hospital 的真实世界医院数据上表现出色。

    Jul, 2021

  • 电子健康记录的多模态分析上的对比学习

    该研究提出了一种新颖的多模态特征嵌入生成模型，并设计了一种多模态对比损失函数，通过联合分析结构化和非结构化数据的两种重要模态来捕获患者的完整病历，从而实现多模态电子健康记录特征表示学习并保护隐私。模拟研究结果表明，所提出的算法适用于多种配置，并且进一步验证了该算法在真实世界电子健康记录数据中的临床应用。

    Mar, 2024

  • TAPER：基于时间的病人电子病历表示

    应用 Transformer 网络和 BERT 语言模型，将包含多种数据模式的电子病历编入一个统一矢量表示，从而实现了病人就诊数据的高效表示，这种方法在 MIMIC-III ICU 数据集上得到了出色的性能和可泛化性。

    Aug, 2019

  • 电子健康记录与笔记的多模态融合：利用超图和 LLM 集成结构与语义

    提出了一个名为 MINGLE 的新框架，通过融合结构和语义以有效地整合不同类型的 EHR 数据，从而提高预测性能。

    Feb, 2024