本文使用 self-supervised 学习方法（即 MoCo 方法）实现了以胸部 X 光为基础的 COVID-19 患者恶化预测模型，包括不良事件恶化和氧需求增加两种类型，并提出了可处理多图像序列的新型 Transformer-based 架构，在 96 小时内，模型准确预测了患者的恶化和死亡情况。

Jan, 2021

在重症监护室内，包括临床测量和临床笔记在内的丰富患者数据可供利用，但其分析也面临许多挑战。本研究提出了一种新颖的方法，利用自我监督预训练来解决深度学习模型在重症监护中的标注数据不足问题，并在数据有限的情况下，在院内死亡预测和表型预测等下游任务中优于基线模型，突显其提升重症监护室数据分析能力。

Dec, 2023

利用先进的自监督多模式对比学习技术， 注重临床笔记和时间序列，我们引入了一种损失函数：多模式邻域对比损失 (MM-NCL)，展示了我们方法在线预测任务中出色的线性验证和零样本表现。

Mar, 2024

本论文通过手工建模和学习内插嵌入，采用分离机制建模不规则的时间序列；采用时间注意力机制，将临床记录的一系列表示为多元不规则时间序列，并采用交织注意机制跨时间步骤进行多模态融合，以整合多模态表示。结果表明，我们提出的方法在单一模态和多模态情景下都优于现有方法，说明了我们方法的有效性和模拟不规则性的价值。

Oct, 2022

本文探讨了多模式语言建模在医疗保健领域的应用，特别是基于急诊科主诉和生命体征文本信息的病人问题和需求预测，通过对 MIMIC-IV ED 数据集的诊断代码预测实验分析，我们发现多模式提高了预测性能，并且对一些疾病类别来说，生命体征具有更强的预测能力，并透过交叉注意层的分析，展示了多模式如何提升模型预测。

Apr, 2023

一个新的端到端框架 FORESEE，通过挖掘多模态信息来稳健地预测患者生存情况，同时利用细胞水平、组织水平和肿瘤异质性水平的丰富语义特征，解决了多模态数据的缺失问题，并通过交叉尺度特征融合方法，提高了病理图像特征表征能力。

May, 2024

使用电子病历（EHR）来预测下次就诊诊断是医疗保健中的重要任务，为医疗服务提供者和患者制定主动的未来计划至关重要。然而，许多先前的研究没有充分解决 EHR 数据中固有的异质性和分层特征，不可避免地导致次优性能。为此，我们提出了 NECHO，一种新颖的以医学代码为中心的多模态对比 EHR 学习框架，具备分层正规化。首先，我们使用定制的网络设计和一对双模态对比损失来整合包括医学代码、人口统计和临床记录在内的多方面信息，这些信息都围绕着医学代码表示。我们还使用医学本体中的父级信息对特定于模态的编码器进行正规化，以学习 EHR 数据的层次结构。对 MIMIC-III 数据进行的一系列实验证明了我们方法的有效性。

Jan, 2024

利用多模态数据，特别是医学实验的图像和时间序列数据，提出一种新的方法来改进临床应用中的多模态深度学习，在预测死亡率和表型分型等重要领域中取得了有效的结果，同时克服了噪声和不平衡数据集的挑战，并采用不确定性模型和注意力机制，提高了模型的性能和鲁棒性。

May, 2024

该研究提出了一种多模态机器学习模型，用于预测 ICD-10 诊断代码，并通过集成不同模态的机器学习模型和提取关键证据来增强预测的可信度和可解释性。在解释性方面，该方法在文本数据上达到了 0.1806 的 Jaccard 相似系数，在表格数据上达到了 0.3105。

Oct, 2018

本论文提出一个新型的多模态变压器，用于融合医疗记录数据和医生的述职记录来预测住院死亡率，并使用可视化方法展示关键的医疗记录和医疗数据特征，进而提高了诊断的可解释性和预测的精度。

Aug, 2022