现代电子健康记录（EHRs）通过顺序深度学习在个性化患者健康轨迹的跟踪方面拥有巨大的潜力，然而如何有效利用 EHRs 中的多个模态面临重大挑战，因为其复杂特性（如高维度、多模式、稀疏性、不同的记录频率和时间的不规则性）。为了应对医学时间序列中的稀疏性和时间间隔的不规则性，本文引入了一种新的多模态对比学习框架，重点关注医学时间序列和临床笔记。为了利用医学时间序列和临床笔记之间的相互关系，该框架配备了全局对比损失，将患者的多模态特征表示与相应的出院小结进行对齐。通过全局对比来学习区分性的多模态特征。在真实世界的 EHR 数据集上进行了大量实验，证明我们的框架在使用 UF 健康系统的多模态数据（来自 UF Health Gainesville、UF Health Jacksonville 和 UF Health Jacksonville-North 三家医院的 12 万多次大型住院手术）预测九种术后并发症发生的示例任务上优于现有方法。

Apr, 2024

我们提出了一个动态嵌入和分词框架，通过学习多模态临床时间序列的时间感知表示，并结合时间交叉注意力，将其整合到滑动窗口关注的多任务 Transformer 分类器中，在预测超过 120,000 例住院手术的九种术后并发症的示例任务中，使用来自美国三家医院和两个学术医疗中心的多模态数据，我们的嵌入和分词框架优于基线方法。

Mar, 2024

本研究基于数据时间聚类的不变性，提出了分析多变量临床时间序列数据的模型以及一种数据扩充技术方案，用于规范化深度神经网络中医学预测任务，该方法以评估医疗预测任务为基准，提高了其预测精度。

Apr, 2019

本论文提出一个新型的多模态变压器，用于融合医疗记录数据和医生的述职记录来预测住院死亡率，并使用可视化方法展示关键的医疗记录和医疗数据特征，进而提高了诊断的可解释性和预测的精度。

Aug, 2022

使用电子病历（EHR）来预测下次就诊诊断是医疗保健中的重要任务，为医疗服务提供者和患者制定主动的未来计划至关重要。然而，许多先前的研究没有充分解决 EHR 数据中固有的异质性和分层特征，不可避免地导致次优性能。为此，我们提出了 NECHO，一种新颖的以医学代码为中心的多模态对比 EHR 学习框架，具备分层正规化。首先，我们使用定制的网络设计和一对双模态对比损失来整合包括医学代码、人口统计和临床记录在内的多方面信息，这些信息都围绕着医学代码表示。我们还使用医学本体中的父级信息对特定于模态的编码器进行正规化，以学习 EHR 数据的层次结构。对 MIMIC-III 数据进行的一系列实验证明了我们方法的有效性。

Jan, 2024

利用先进的自监督多模式对比学习技术， 注重临床笔记和时间序列，我们引入了一种损失函数：多模式邻域对比损失 (MM-NCL)，展示了我们方法在线预测任务中出色的线性验证和零样本表现。

Mar, 2024

通过解释性多模型数据驱动模型，预测和理解 ICU 中的抗菌性多重药物耐药细菌的发生，并提供可解释的预测支持系统。

Feb, 2024

本文提出了一种从医疗电子健康系统中提取伴随临床记录的方法，并使用这些数据综合研究了不同模型和数据利用方法对于更好的医疗任务预测的影响。结果表明，我们的融合模型优于不包含临床记录的最新方法，这证明了我们的融合方法的重要性和临床注意点特征的价值。

Oct, 2021

利用多模态数据，特别是医学实验的图像和时间序列数据，提出一种新的方法来改进临床应用中的多模态深度学习，在预测死亡率和表型分型等重要领域中取得了有效的结果，同时克服了噪声和不平衡数据集的挑战，并采用不确定性模型和注意力机制，提高了模型的性能和鲁棒性。

May, 2024

该研究提出了一种新颖的多模态特征嵌入生成模型，并设计了一种多模态对比损失函数，通过联合分析结构化和非结构化数据的两种重要模态来捕获患者的完整病历，从而实现多模态电子健康记录特征表示学习并保护隐私。模拟研究结果表明，所提出的算法适用于多种配置，并且进一步验证了该算法在真实世界电子健康记录数据中的临床应用。

Mar, 2024