现代电子健康记录（EHRs）通过顺序深度学习在个性化患者健康轨迹的跟踪方面拥有巨大的潜力，然而如何有效利用 EHRs 中的多个模态面临重大挑战，因为其复杂特性（如高维度、多模式、稀疏性、不同的记录频率和时间的不规则性）。为了应对医学时间序列中的稀疏性和时间间隔的不规则性，本文引入了一种新的多模态对比学习框架，重点关注医学时间序列和临床笔记。为了利用医学时间序列和临床笔记之间的相互关系，该框架配备了全局对比损失，将患者的多模态特征表示与相应的出院小结进行对齐。通过全局对比来学习区分性的多模态特征。在真实世界的 EHR 数据集上进行了大量实验，证明我们的框架在使用 UF 健康系统的多模态数据（来自 UF Health Gainesville、UF Health Jacksonville 和 UF Health Jacksonville-North 三家医院的 12 万多次大型住院手术）预测九种术后并发症发生的示例任务上优于现有方法。

Apr, 2024

本论文通过手工建模和学习内插嵌入，采用分离机制建模不规则的时间序列；采用时间注意力机制，将临床记录的一系列表示为多元不规则时间序列，并采用交织注意机制跨时间步骤进行多模态融合，以整合多模态表示。结果表明，我们提出的方法在单一模态和多模态情景下都优于现有方法，说明了我们方法的有效性和模拟不规则性的价值。

Oct, 2022

利用先进的自监督多模式对比学习技术， 注重临床笔记和时间序列，我们引入了一种损失函数：多模式邻域对比损失 (MM-NCL)，展示了我们方法在线预测任务中出色的线性验证和零样本表现。

Mar, 2024

本论文提出一个新型的多模态变压器，用于融合医疗记录数据和医生的述职记录来预测住院死亡率，并使用可视化方法展示关键的医疗记录和医疗数据特征，进而提高了诊断的可解释性和预测的精度。

Aug, 2022

该研究提出了一种新颖的多模态特征嵌入生成模型，并设计了一种多模态对比损失函数，通过联合分析结构化和非结构化数据的两种重要模态来捕获患者的完整病历，从而实现多模态电子健康记录特征表示学习并保护隐私。模拟研究结果表明，所提出的算法适用于多种配置，并且进一步验证了该算法在真实世界电子健康记录数据中的临床应用。

Mar, 2024

本文提出了一种名为 MedM-PLM 的医学多模态预训练语言模型，能够增强电子健康记录的表示能力，探索结构化和非结构化数据之间的相互作用，用于药物推荐、30 天再入院预测和 ICD 编码等三项临床任务，显示出比其他现有方法更好的性能和更全面的解释能力。

Jan, 2022

通过利用患者电子健康记录中有用的信息和新颖可解释的深度学习框架，该研究致力于预测意外住院并提高预测结果的解释性，从而减少医院成本和改善患者健康。

Oct, 2023

通过收集来自台湾医院数据库的五年电子健康记录，该研究提出了一个新颖的大型语言多模型（LLMMs）框架，将临床笔记和实验室检测结果的多模态数据结合起来预测慢性疾病风险，观察到将 clinicalBERT 和 PubMed-BERT 与注意力融合相结合可以在多类慢性疾病和糖尿病预测中达到 73% 的准确率，将实验室检测值转化为文本描述后，利用 Flan T-5 模型可以达到 76% 的 ROC 曲线下面积（AUROC），从而显著提高了糖尿病早期预测的准确性。

Mar, 2024

我们提出了一种名为 AutoFM 的神经架构搜索（NAS）框架，用于自动搜索对多样输入模态和融合策略进行编码的最佳模型架构，并在真实世界的多模式 EHR 数据和预测任务上进行了彻底实验，结果表明我们的框架不仅在现有最先进的方法上实现了显著的性能改进，还有效地发现了有意义的网络架构。

Jan, 2024

本文提出了一种从医疗电子健康系统中提取伴随临床记录的方法，并使用这些数据综合研究了不同模型和数据利用方法对于更好的医疗任务预测的影响。结果表明，我们的融合模型优于不包含临床记录的最新方法，这证明了我们的融合方法的重要性和临床注意点特征的价值。

Oct, 2021