Med-BERT是一种基于BERT框架训练的语境嵌入模型，适用于在数据集较小的情况下预测疾病。通过电子病历研究心力衰竭和胰腺癌的预测，表明Med-BERT具有较高的准确性和泛化性能，可以大幅提升深度学习模型的性能和推广医疗人工智能的发展。

May, 2020

我们提出了一个基于协作图学习的模型，结合疾病领域知识，协同学习患者和疾病的表示，同时使用了注意力调节策略来整合有用的文本特征，解决了利用深度学习方法在卫生数据中存在的几个关键挑战，证实该模型在两个重要医疗问题中预测表现优于现有最先进模型，具有良好的解释性。

May, 2021

本文提出了一种基于电子病历中的医学笔记信息预测多种疾病风险的风险预测模型，并采用事件引导机制和标签依赖机制实现了对其预测结果的可解释性。

Jan, 2022

本论文提出一个新型的多模态变压器，用于融合医疗记录数据和医生的述职记录来预测住院死亡率，并使用可视化方法展示关键的医疗记录和医疗数据特征，进而提高了诊断的可解释性和预测的精度。

Aug, 2022

利用语言模型（LMs）来代表结构化电子健康记录（EHRs），例如诊断历史，可以在各种风险预测任务中提高性能，同时具有少样本学习、处理未知医学概念和适应各种医学词汇等优势，但在使用这些模型时需要谨慎

Nov, 2023

通过利用大规模语言模型生成合成的临床数据，我们研究了其在检测阿尔茨海默病相关迹象和症状方面的潜力，证明了大规模语言模型能够提高系统性能并生成不泄露敏感信息的数据集。

Dec, 2023

通过收集来自台湾医院数据库的五年电子健康记录，该研究提出了一个新颖的大型语言多模型（LLMMs）框架，将临床笔记和实验室检测结果的多模态数据结合起来预测慢性疾病风险，观察到将clinicalBERT和PubMed-BERT与注意力融合相结合可以在多类慢性疾病和糖尿病预测中达到73%的准确率，将实验室检测值转化为文本描述后，利用Flan T-5模型可以达到76%的ROC曲线下面积（AUROC），从而显著提高了糖尿病早期预测的准确性。

Mar, 2024

通过利用电子健康记录(EHR)数据在医学领域的广泛应用，使用深度学习方法在疾病风险预测方面取得了早期成功。然而，现有研究对EHR数据的潜力未能充分利用，存在着许多关键问题，如融入疾病领域知识、异构学习疾病表示以及捕捉疾病进展的时间动态等。为了克服这些限制，本研究引入了一种新型的异构图学习模型，旨在融合疾病领域知识，阐明药物和疾病之间错综复杂的关系。该模型创新性地将时间数据融入到访问级嵌入中，并利用一个考虑时间的Transformer和自适应注意机制来生成患者表示。经过两个医疗数据集的评估，我们的方法在预测准确性和可解释性方面表现出显著提升，为个性化和主动式的医疗管理迈出了实质性的进展。

Apr, 2024

本研究解决了医疗领域中多种数据来源和模式整合不足的问题，提出了一种将小型语言模型与多种数据源结合的框架，以实现多种疾病风险的同步预测。虽然该方法的表现未超越专注单一任务的先进技术，但表明了小型语言模型在医疗多模态推理中的巨大潜力。

Aug, 2024

本研究针对多标签医疗编码预测中存在的可解释性不足问题，提出了一种称为字典标签注意力的机制可解释性模块，以解构不可解释的稠密嵌入为稀疏嵌入空间，并通过人类评估证明其可理解性显著提高。利用大语言模型的自动化字典特征识别流程，我们揭示了数千个学习到的医疗概念，增强了模型预测的机制和全球理解，同时不需广泛的人类标注，保持了竞争性能和可扩展性。

Sep, 2024