Jan, 2022

多模态数据的重要性：基于结构化和非结构化电子健康记录的语言模型预训练

PDF
TL;DR本文提出了一种名为 MedM-PLM 的医学多模态预训练语言模型，能够增强电子健康记录的表示能力，探索结构化和非结构化数据之间的相互作用，用于药物推荐、30 天再入院预测和 ICD 编码等三项临床任务，显示出比其他现有方法更好的性能和更全面的解释能力。
electronic health recordsstructured dataunstructured datapre-trained language modelclinical decision-making
发现论文，激发创造
  • 电子健康记录的多模态分析上的对比学习

    该研究提出了一种新颖的多模态特征嵌入生成模型，并设计了一种多模态对比损失函数，通过联合分析结构化和非结构化数据的两种重要模态来捕获患者的完整病历，从而实现多模态电子健康记录特征表示学习并保护隐私。模拟研究结果表明，所提出的算法适用于多种配置，并且进一步验证了该算法在真实世界电子健康记录数据中的临床应用。

    Mar, 2024

  • 医学表示学习的图文多模态预训练

    本文介绍了 MedGTX，它是一个用于结构化和文本电子健康记录数据的多模态表示学习的预训练模型。MedGTX 使用图编码器和文本编码器来处理结构化数据和非结构化文本，并使用交叉模态编码器学习联合表示空间。通过在 MIMIC-III 上进行四个代理任务的预训练，并在两个临床基准测试和三个新的下游任务中对模型进行评估，结果始终显示出预训练模型对 EHR 中的结构化和非结构化信息在联合学习中的有效性。

    Mar, 2022

  • 多模态电子健康记录的分层预训练

    介绍了一种适用于层次多模式电子健康记录数据的新型、通用的预训练框架 MEDHMP，通过在八个涵盖三个级别的下游任务上的实验结果以及与 18 个基线的比较，证明了该框架的有效性。

    Oct, 2023

  • 全球对比训练与语言监督下的多模态电子健康记录

    现代电子健康记录（EHRs）通过顺序深度学习在个性化患者健康轨迹的跟踪方面拥有巨大的潜力，然而如何有效利用 EHRs 中的多个模态面临重大挑战，因为其复杂特性（如高维度、多模式、稀疏性、不同的记录频率和时间的不规则性）。为了应对医学时间序列中的稀疏性和时间间隔的不规则性，本文引入了一种新的多模态对比学习框架，重点关注医学时间序列和临床笔记。为了利用医学时间序列和临床笔记之间的相互关系，该框架配备了全局对比损失，将患者的多模态特征表示与相应的出院小结进行对齐。通过全局对比来学习区分性的多模态特征。在真实世界的 EHR 数据集上进行了大量实验，证明我们的框架在使用 UF 健康系统的多模态数据（来自 UF Health Gainesville、UF Health Jacksonville 和 UF Health Jacksonville-North 三家医院的 12 万多次大型住院手术）预测九种术后并发症发生的示例任务上优于现有方法。

    Apr, 2024

  • 电子健康记录与笔记的多模态融合：利用超图和 LLM 集成结构与语义

    提出了一个名为 MINGLE 的新框架，通过融合结构和语义以有效地整合不同类型的 EHR 数据，从而提高预测性能。

    Feb, 2024

  • 多模态转换器：将临床记录与结构化电子病历数据融合，可解释的住院死亡率预测

    本论文提出一个新型的多模态变压器，用于融合医疗记录数据和医生的述职记录来预测住院死亡率，并使用可视化方法展示关键的医疗记录和医疗数据特征，进而提高了诊断的可解释性和预测的精度。

    Aug, 2022

  • 如何利用多模态电子病历数据进行更好的医学预测？

    本文提出了一种从医疗电子健康系统中提取伴随临床记录的方法，并使用这些数据综合研究了不同模型和数据利用方法对于更好的医疗任务预测的影响。结果表明，我们的融合模型优于不包含临床记录的最新方法，这证明了我们的融合方法的重要性和临床注意点特征的价值。

    Oct, 2021

  • 错了肺！评估和提高医学数据无监督多模态编码器的可解释性

    在电子健康记录上进行多模态模型的预训练可以学习表示，以最小的监督进行下游任务的转移。最近的多模态模型在图像区域和句子之间引入了软局部对齐，这对医疗领域非常有意义，但标注结果发现图像区域与句子之间的关注并不一致。一些简单的技术，如允许模型退出图像的关注和少量微调，可能有望改善对齐，减少对人工干预的依赖。

    Oct, 2022

  • 应急科室结果预测的多模态感知语言模型

    本文探讨了多模式语言建模在医疗保健领域的应用，特别是基于急诊科主诉和生命体征文本信息的病人问题和需求预测，通过对 MIMIC-IV ED 数据集的诊断代码预测实验分析，我们发现多模式提高了预测性能，并且对一些疾病类别来说，生命体征具有更强的预测能力，并透过交叉注意层的分析，展示了多模式如何提升模型预测。

    Apr, 2023

  • 使用统一多模态数据嵌入和模态感知注意力学习缺失模态的电子健康记录

    本研究提出一种统一的多模态集合嵌入和具有跳过瓶颈的模态感知注意力（MAA），在 MIMIC-IV 数据集上预测死亡率、血管加压素需求和气管插管需求中，该模型优于其他基线模型，无需单独的补偿模块或易错的向前传递。

    May, 2023