MuST: 医院再入院预测的多模态时空图卷积网络
本研究提出的多模态、模态不可知时空图神经网络（MM-STGNN）结合了多模态病人纵向数据，用于预测 30 天内入院后出现的所有原因再次入院风险，并在两个独立中心的电子健康记录和胸部 X 光数据集中证明其预测效果优于现有的临床参考标准 LACE + 分数。
Apr, 2022
本论文提出一个新型的多模态变压器，用于融合医疗记录数据和医生的述职记录来预测住院死亡率，并使用可视化方法展示关键的医疗记录和医疗数据特征，进而提高了诊断的可解释性和预测的精度。
Aug, 2022
本研究提出了一种基于 Transformer 架构和自注意机制的多模态融合框架 Multitrans，通过将非对比度计算机断层成像（NCCT）图像和中风治疗患者的出院诊断报告结合起来，使用一种基于 Transformer 架构的多种方法来预测中风治疗的功能结果。结果表明，单模态文本分类的性能明显优于单模态图像分类，但多模态组合的效果优于任何单模态。尽管 Transformer 模型在成像数据上的性能不佳，但当与临床元诊断信息结合时，两者都能学习到更好的互补信息，并为准确预测中风治疗效果做出良好贡献。
Apr, 2024
本研究提出一种新的方法，使用电子健康记录（EHR）的医疗文本，通过多视图图表和图卷积网络对患者出院小结进行表征学习，以预测重返重症监护病房的风险，获得了最优的预测效果。
Dec, 2021
通过解释性多模型数据驱动模型，预测和理解 ICU 中的抗菌性多重药物耐药细菌的发生，并提供可解释的预测支持系统。
Feb, 2024
现代电子健康记录（EHRs）通过顺序深度学习在个性化患者健康轨迹的跟踪方面拥有巨大的潜力，然而如何有效利用 EHRs 中的多个模态面临重大挑战，因为其复杂特性（如高维度、多模式、稀疏性、不同的记录频率和时间的不规则性）。为了应对医学时间序列中的稀疏性和时间间隔的不规则性，本文引入了一种新的多模态对比学习框架，重点关注医学时间序列和临床笔记。为了利用医学时间序列和临床笔记之间的相互关系，该框架配备了全局对比损失，将患者的多模态特征表示与相应的出院小结进行对齐。通过全局对比来学习区分性的多模态特征。在真实世界的 EHR 数据集上进行了大量实验，证明我们的框架在使用 UF 健康系统的多模态数据（来自 UF Health Gainesville、UF Health Jacksonville 和 UF Health Jacksonville-North 三家医院的 12 万多次大型住院手术）预测九种术后并发症发生的示例任务上优于现有方法。
Apr, 2024
使用基于 Transformer 的多模态策略，将电子健康记录中的临床特征和胸部 CT 扫描图像进行无监督解开耦合，并利用时间 - 距离缩放的自注意力来共同学习其表达式，从而实现 SPN 分类的高效准确。
Apr, 2023
通过使用最先进的机器学习方法和自然语言处理，我们检验了每种数据类型的有效性和它们组合起来的影响，以预测 ICU 患者的再次入院情况，并且在这个数据集上建立了未计划再次入院的分类等级，最终发现医生写的出院记录比其他数据类型更能够预测再次入院的情况。
May, 2023
我们提出了一个动态嵌入和分词框架，通过学习多模态临床时间序列的时间感知表示，并结合时间交叉注意力，将其整合到滑动窗口关注的多任务 Transformer 分类器中，在预测超过 120,000 例住院手术的九种术后并发症的示例任务中，使用来自美国三家医院和两个学术医疗中心的多模态数据，我们的嵌入和分词框架优于基线方法。
Mar, 2024