通过多模态 ICU 数据，本文提出了一种可解释的多模态死亡预测器（X-MMP）作为一种高效的、可解释的 AI 解决方案，用于预测住院死亡率。我们的框架采用多模态学习，可接收来自临床数据的异构输入并做出决策，同时引入一种可解释的方法，即层级传递至 Transformer，作为对 Transformer 的 LRP 方法的适当扩展，在多模态输入上产生解释并揭示与预测相关的显著特征。此外，可以可视化每种模式对临床结果的贡献，帮助临床医生理解决策背后的推理过程。基于 MIMIC-III 和 MIMIC-III 波形数据库匹配子集构建了多模态数据集。在基准数据集上进行的综合实验表明，我们提出的框架能够实现合理的解释，并具有竞争力的预测准确性。特别地，我们的框架可以轻松转移到其他临床任务中，促进了对医疗研究中关键因素的发现。

Dec, 2023

本论文提出一个新型的多模态变压器，用于融合医疗记录数据和医生的述职记录来预测住院死亡率，并使用可视化方法展示关键的医疗记录和医疗数据特征，进而提高了诊断的可解释性和预测的精度。

Aug, 2022

本研究旨在通过使用四种深度神经网络可解释性方法，对多标签 - 多类胸部放射学数据集进行分析和比较，以提高医学领域的可解释性，并建议可以引入多模态信息进一步提高研究结果的准确性。

Jul, 2023

本文探讨了多模式语言建模在医疗保健领域的应用，特别是基于急诊科主诉和生命体征文本信息的病人问题和需求预测，通过对 MIMIC-IV ED 数据集的诊断代码预测实验分析，我们发现多模式提高了预测性能，并且对一些疾病类别来说，生命体征具有更强的预测能力，并透过交叉注意层的分析，展示了多模式如何提升模型预测。

Apr, 2023

本研究旨在探究如何利用医疗自然语言处理技术，将临床文本与结构化临床数据相结合，建立多模态神经网络模型，实现对重症监护室患者住院死亡风险的预测。研究结果显示，相较于基准模型，本模型的 AUC 值提高了 2%。

Nov, 2018

使用深度学习模型对 17,587 个 X 光片进行训练，研究了骨折的影像学特征、患者特征和医院过程特征对其影响，发现这些因素是计算机辅助诊断算法预测的主要来源，表明应该进一步研究深度学习决策过程以有效协作。

Nov, 2018

使用 Bayesian 模型和医疗索赔数据构建了一个可解释的生存模型，预测患者出院后的复诊和死亡风险，除了提高准确度，还能够量化相关风险因素和出院前景。

Aug, 2022

本研究提出了一种基于专家知识的临床概念或中间特征作为解释单元的自我解释深度学习框架，并在公开的电子健康记录数据集上进行了实验。实验结果表明，该模型的解释性组件不会影响预测性能，并且模型生成的解释可以为医生提供了解病人死亡原因的洞见。

Oct, 2021

本研究提出的多模态、模态不可知时空图神经网络（MM-STGNN）结合了多模态病人纵向数据，用于预测 30 天内入院后出现的所有原因再次入院风险，并在两个独立中心的电子健康记录和胸部 X 光数据集中证明其预测效果优于现有的临床参考标准 LACE + 分数。

Apr, 2022

该研究评估了传统（XGBoost）和深度学习（LSTM with Attention）模型在全局和个别预测水平上的可解释性表现，并比较了三种流行的解释性方法：SHapley Additive exPlanations（SHAP）、Layer-Wise Relevance Propagation（LRP）和 Attention。该研究发现，总体而言，使用 SHAP 或 LRP 的 LSTM 提供了优于 XGBoost 的可解释性表现，而带有点积 Attention 的 LSTM 则未能产生合理的结果。

Nov, 2022