应用 Transformer 网络和 BERT 语言模型，将包含多种数据模式的电子病历编入一个统一矢量表示，从而实现了病人就诊数据的高效表示，这种方法在 MIMIC-III ICU 数据集上得到了出色的性能和可泛化性。

Aug, 2019

提出了一种语言增强的基于转换器的框架，用于在连续、分类、二进制和自由文本功能之间进行信息集成，以更准确地估计医学干预的持续时间，并在 US 和 Asian 的数据集上证明了其有效性。

Mar, 2023

我们提出了一个动态嵌入和分词框架，通过学习多模态临床时间序列的时间感知表示，并结合时间交叉注意力，将其整合到滑动窗口关注的多任务 Transformer 分类器中，在预测超过 120,000 例住院手术的九种术后并发症的示例任务中，使用来自美国三家医院和两个学术医疗中心的多模态数据，我们的嵌入和分词框架优于基线方法。

Mar, 2024

通过利用电子健康记录 (EHR) 数据在医学领域的广泛应用，使用深度学习方法在疾病风险预测方面取得了早期成功。然而，现有研究对 EHR 数据的潜力未能充分利用，存在着许多关键问题，如融入疾病领域知识、异构学习疾病表示以及捕捉疾病进展的时间动态等。为了克服这些限制，本研究引入了一种新型的异构图学习模型，旨在融合疾病领域知识，阐明药物和疾病之间错综复杂的关系。该模型创新性地将时间数据融入到访问级嵌入中，并利用一个考虑时间的 Transformer 和自适应注意机制来生成患者表示。经过两个医疗数据集的评估，我们的方法在预测准确性和可解释性方面表现出显著提升，为个性化和主动式的医疗管理迈出了实质性的进展。

Apr, 2024

本研究探索了基于上下文感知框架的神经机器翻译系统，研究发现标准 Transformer 自回归属性可以同时带来一致性和误差积累的优势和劣势，因此提出了一种简单的基于长短时记忆的自注意力机制用于捕捉长距离依赖并减少误差传播，在两个公开数据集上验证可以获得较高 BLEU 得分并捕捉语篇现象。

Sep, 2020

本文提出使用带有四个模块的神经网络分析病人旅程的疾病预测。通过将时间间隔作为辅助信息，建立了前瞻式的病人旅程的潜在进展模式，其中短期相关性建模并贡献于病人旅程的本地先验生成，并在 MIMIC-III 数据集上展示了更高的预测准确性。

Jul, 2022

针对结构化长期电子健康记录 (EHR) 数据与大型语言模型 (LLMs) 集成时的固有复杂性，本研究调查了像 GPT-4 这样的 LLMs 对 EHR 数据的适应性。特别关注其零样本能力，使其能够在并未明确训练的情况下进行预测。通过考虑特定的 EHR 特征 (如单位和参考范围)，采用与临床环境相一致的上下文学习策略，我们的寻求方法能够应对 EHR 数据的纵向、稀疏和知识注入的特性。通过对 MIMIC-IV 和 TJH 数据集进行综合实验，证明了我们精心设计的提示框架下，LLMs 在关键任务 (如死亡率、住院天数和 30 天再入院率) 的预测性能可以提高约 35％，在少样本情景中超越了机器学习模型。我们的研究强调了 LLMs 在提高临床决策能力方面的潜力，尤其是在没有标签数据的紧急医疗情况下，如新发疾病的爆发。可通过此 https URL 获得代码，以便能重现研究结果。

Jan, 2024

机器学习在疾病诊断和决策方面的应用正变得越来越流行。本文开发了一种 Python 包，将公共卫生数据集转换为易于访问的通用格式，以便于构建有用的疾病诊断预测系统，并提出了两种新的模型架构进行疾病诊断多类别预测，一种使用结构化数字数据，另一种结合自然语言处理方法和可解释的可视化。这些模型都能够高准确度地预测多种诊断。

Jun, 2020

本文介绍了 H-BERT，该模型采用完整的图树扩展表示 EHR 中的医疗编码，提高了病患归属感的预测，并创建了相关但临床不同表型的患者的不同表示。

Nov, 2022

我们提出了一个基于 Transformer 的诊断辅助模型，可以以统一的方式处理多模态输入，该模型在辨别肺部疾病方面表现出了比仅使用图像模型和非统一多模态诊断模型更高的识别率，并在 COVID-19 患者的不良临床预后方面表现出了更高的预测能力。

Jun, 2023