该研究提出了一种新颖的多模态特征嵌入生成模型，并设计了一种多模态对比损失函数，通过联合分析结构化和非结构化数据的两种重要模态来捕获患者的完整病历，从而实现多模态电子健康记录特征表示学习并保护隐私。模拟研究结果表明，所提出的算法适用于多种配置，并且进一步验证了该算法在真实世界电子健康记录数据中的临床应用。

Mar, 2024

本文提出了一种从医疗电子健康系统中提取伴随临床记录的方法，并使用这些数据综合研究了不同模型和数据利用方法对于更好的医疗任务预测的影响。结果表明，我们的融合模型优于不包含临床记录的最新方法，这证明了我们的融合方法的重要性和临床注意点特征的价值。

Oct, 2021

我们提出了一种名为 AutoFM 的神经架构搜索（NAS）框架，用于自动搜索对多样输入模态和融合策略进行编码的最佳模型架构，并在真实世界的多模式 EHR 数据和预测任务上进行了彻底实验，结果表明我们的框架不仅在现有最先进的方法上实现了显著的性能改进，还有效地发现了有意义的网络架构。

Jan, 2024

本文提出了一种名为 MedM-PLM 的医学多模态预训练语言模型，能够增强电子健康记录的表示能力，探索结构化和非结构化数据之间的相互作用，用于药物推荐、30 天再入院预测和 ICD 编码等三项临床任务，显示出比其他现有方法更好的性能和更全面的解释能力。

Jan, 2022

利用 EMERGE 框架、Retrieval-Augmented Generation (RAG) 驅動，提取多模態電子健康紀錄 (EHR) 中的實體，並結合專業 PrimeKG 確保一致性，以加強多模態 EHR 預測建模並生成患者健康狀態相關摘要，通過交叉注意的自適應多模態融合網絡與其他模態進行融合，並在 MIMIC-III 和 MIMIC-IV 資料集上的實驗中證明 EMERGE 框架相對於基線模型的優越性，徹底研究和分析驗證了每個設計模組的有效性，以及該框架對於數據稀疏性的魯棒性。EMERGE 顯著提高了多模態 EHR 數據在醫療保健中的應用，彌補了對於知情臨床預測至關重要的細緻醫學背景的差距。

May, 2024

本论文提出一个新型的多模态变压器，用于融合医疗记录数据和医生的述职记录来预测住院死亡率，并使用可视化方法展示关键的医疗记录和医疗数据特征，进而提高了诊断的可解释性和预测的精度。

Aug, 2022

现代电子健康记录（EHRs）通过顺序深度学习在个性化患者健康轨迹的跟踪方面拥有巨大的潜力，然而如何有效利用 EHRs 中的多个模态面临重大挑战，因为其复杂特性（如高维度、多模式、稀疏性、不同的记录频率和时间的不规则性）。为了应对医学时间序列中的稀疏性和时间间隔的不规则性，本文引入了一种新的多模态对比学习框架，重点关注医学时间序列和临床笔记。为了利用医学时间序列和临床笔记之间的相互关系，该框架配备了全局对比损失，将患者的多模态特征表示与相应的出院小结进行对齐。通过全局对比来学习区分性的多模态特征。在真实世界的 EHR 数据集上进行了大量实验，证明我们的框架在使用 UF 健康系统的多模态数据（来自 UF Health Gainesville、UF Health Jacksonville 和 UF Health Jacksonville-North 三家医院的 12 万多次大型住院手术）预测九种术后并发症发生的示例任务上优于现有方法。

Apr, 2024

基于超网络的医学成像与表格数据融合框架，通过将图像处理与电子病历数值和测量值相结合，旨在提高各种医学应用的准确性。

Mar, 2024

这篇综述研究了使用人工智能技术将多模式医疗数据进行融合，以开发不同临床应用的 AI 方法。通过对 34 个相关研究进行数据提取和分析，发现多模式融合模型在诊断和预测疾病等临床应用方面显著优于单一模式模型。

Oct, 2022

提出了一种名为 REALM 的框架，通过整合多模态电子健康记录（EHR）数据和知识图谱 (KG)，利用大型语言模型 (LLM) 编码临床笔记，并使用 GRU 模型编码时间序列 EHR 数据，提取任务相关的医疗实体，并将这些实体与专业标记的外部知识图谱 (PrimeKG) 进行匹配，通过适应性多模态融合网络将提取的知识与多模态 EHR 数据进行整合，最后通过对 MIMIC-III 的死亡率和再入院任务的大量实验，证明了 REALM 框架相比基线模型具有更优异的性能，强调了每个模块的有效性，从而改进了在医疗保健中利用多模态 EHR 数据并弥合了为明智临床预测所必需的细致医疗背景的差距。

Feb, 2024