本研究旨在探究如何利用医疗自然语言处理技术，将临床文本与结构化临床数据相结合，建立多模态神经网络模型，实现对重症监护室患者住院死亡风险的预测。研究结果显示，相较于基准模型，本模型的AUC值提高了2%。

Nov, 2018

通过以未经过多次预处理的多个临床笔记为输入，在用于预测住院死亡时提高模型性能，这项研究揭示了未结构化数据在临床预测方法中的潜力和必要性。

Nov, 2019

本文提出了一种从医疗电子健康系统中提取伴随临床记录的方法，并使用这些数据综合研究了不同模型和数据利用方法对于更好的医疗任务预测的影响。结果表明，我们的融合模型优于不包含临床记录的最新方法，这证明了我们的融合方法的重要性和临床注意点特征的价值。

Oct, 2021

本文提出了一种基于标签依赖的注意模型LDAM来提高疾病风险预测的可解释性，在利用Clinical-BERT编码生物医学有意义的特征和标签的同时，扩展联合嵌入的想法，开发了多模态学习框架，整合了来自医学记录和时间序列健康状态指标的异构信息，并在MIMIC-III测试集上进行了实验验证。

Jan, 2022

本文提出了一种基于电子病历中的医学笔记信息预测多种疾病风险的风险预测模型，并采用事件引导机制和标签依赖机制实现了对其预测结果的可解释性。

Jan, 2022

本研究基于Transformers预训练的语言表示学习方法，将特定医学记录中的信息提取，映射到标准词汇中，并在医院死亡预测任务中测试不同输入格式的性能，结果表明使用提取的唯一概念和标准名称作为输入可以获得更好的性能。

Jul, 2022

本文研究了临床神经预测模型中的不同注意力机制在区分度和校准性方面的表现，特别是将稀疏注意力作为在临床记录中预测住院病死率的替代方法，在公开数据集上表现出了优异的预测性能，并且在确定的相关指令词上更加注意力集中。然而，在句子选择上可能会出现问题。

Dec, 2022

本文提出了FINEEHR系统，采用度量学习和微调等两种表示学习技术来优化临床记录的嵌入，以提高预测准确性。使用MIMIC III数据集评估FINEEHR的表现，结果表明两种嵌入优化方法均能提高预测准确性，同时它们的组合给出了最好的结果，平均AUC为96.04％，平均AUC-PR为96.48％。

Apr, 2023

通过多模态ICU数据，本文提出了一种可解释的多模态死亡预测器（X-MMP）作为一种高效的、可解释的AI解决方案，用于预测住院死亡率。我们的框架采用多模态学习，可接收来自临床数据的异构输入并做出决策，同时引入一种可解释的方法，即层级传递至Transformer，作为对Transformer的LRP方法的适当扩展，在多模态输入上产生解释并揭示与预测相关的显著特征。此外，可以可视化每种模式对临床结果的贡献，帮助临床医生理解决策背后的推理过程。基于MIMIC-III和MIMIC-III波形数据库匹配子集构建了多模态数据集。在基准数据集上进行的综合实验表明，我们提出的框架能够实现合理的解释，并具有竞争力的预测准确性。特别地，我们的框架可以轻松转移到其他临床任务中，促进了对医疗研究中关键因素的发现。

Dec, 2023

提出了一个名为MINGLE的新框架，通过融合结构和语义以有效地整合不同类型的EHR数据，从而提高预测性能。

Feb, 2024