为了提高患者的生存率，该研究提出了一种多模态融合方法来检测肺栓塞。通过集成 CT 肺血管造影和电子病历数据，该方法融合了图像和临床信息，取得了显著的预测效果，从而超越了仅使用单个数据模式的模型。

Feb, 2024

这篇综述研究了使用人工智能技术将多模式医疗数据进行融合，以开发不同临床应用的 AI 方法。通过对 34 个相关研究进行数据提取和分析，发现多模式融合模型在诊断和预测疾病等临床应用方面显著优于单一模式模型。

Oct, 2022

通过整合三维医学影像和电子健康记录，我们引入了 INSPECT 数据集，其中包含 19402 名患有肺栓塞（PE）风险的患者的匿名长期记录，以及多个结果的基准标签，为评估多个重要 PE 相关任务的基线建模方法提供了一个基准。

Nov, 2023

我们提出了一种名为 AutoFM 的神经架构搜索（NAS）框架，用于自动搜索对多样输入模态和融合策略进行编码的最佳模型架构，并在真实世界的多模式 EHR 数据和预测任务上进行了彻底实验，结果表明我们的框架不仅在现有最先进的方法上实现了显著的性能改进，还有效地发现了有意义的网络架构。

Jan, 2024

基于深度学习和 Dempster-Shafer 理论的多模式医学图像分割的融合框架，在考虑了每个单模态图像在分割不同对象时的可靠性的情况下，通过背景折扣操作对每个模态的证据进行合并，从而达到最终决策。与现有方法相比，实验结果表明我们的方法在准确性和可靠性方面表现优异。

Sep, 2023

通过使用 CTPA 成像、临床数据和 PE 严重指数（PESI）评分来预测 PE 的死亡率，研究采用深度学习模型来预测 PE 的死亡率，并将疾病相关的成像特征和 / 或临床变量纳入 DL 模型中进行预测，结果表明多组学 DL 模型在 PE 存活预测中的 c-index 值明显高于仅使用 PESI 指数的模型。

Jun, 2024

基于超网络的医学成像与表格数据融合框架，通过将图像处理与电子病历数值和测量值相结合，旨在提高各种医学应用的准确性。

Mar, 2024

现代电子健康记录（EHRs）通过顺序深度学习在个性化患者健康轨迹的跟踪方面拥有巨大的潜力，然而如何有效利用 EHRs 中的多个模态面临重大挑战，因为其复杂特性（如高维度、多模式、稀疏性、不同的记录频率和时间的不规则性）。为了应对医学时间序列中的稀疏性和时间间隔的不规则性，本文引入了一种新的多模态对比学习框架，重点关注医学时间序列和临床笔记。为了利用医学时间序列和临床笔记之间的相互关系，该框架配备了全局对比损失，将患者的多模态特征表示与相应的出院小结进行对齐。通过全局对比来学习区分性的多模态特征。在真实世界的 EHR 数据集上进行了大量实验，证明我们的框架在使用 UF 健康系统的多模态数据（来自 UF Health Gainesville、UF Health Jacksonville 和 UF Health Jacksonville-North 三家医院的 12 万多次大型住院手术）预测九种术后并发症发生的示例任务上优于现有方法。

Apr, 2024

该研究提出了一种新颖的多模态特征嵌入生成模型，并设计了一种多模态对比损失函数，通过联合分析结构化和非结构化数据的两种重要模态来捕获患者的完整病历，从而实现多模态电子健康记录特征表示学习并保护隐私。模拟研究结果表明，所提出的算法适用于多种配置，并且进一步验证了该算法在真实世界电子健康记录数据中的临床应用。

Mar, 2024

使用基于 Transformer 的多模态策略，将电子健康记录中的临床特征和胸部 CT 扫描图像进行无监督解开耦合，并利用时间 - 距离缩放的自注意力来共同学习其表达式，从而实现 SPN 分类的高效准确。

Apr, 2023