我们提出了一个动态嵌入和分词框架，通过学习多模态临床时间序列的时间感知表示，并结合时间交叉注意力，将其整合到滑动窗口关注的多任务 Transformer 分类器中，在预测超过 120,000 例住院手术的九种术后并发症的示例任务中，使用来自美国三家医院和两个学术医疗中心的多模态数据，我们的嵌入和分词框架优于基线方法。

Mar, 2024

通过利用电子健康记录 (EHR) 数据在医学领域的广泛应用，使用深度学习方法在疾病风险预测方面取得了早期成功。然而，现有研究对 EHR 数据的潜力未能充分利用，存在着许多关键问题，如融入疾病领域知识、异构学习疾病表示以及捕捉疾病进展的时间动态等。为了克服这些限制，本研究引入了一种新型的异构图学习模型，旨在融合疾病领域知识，阐明药物和疾病之间错综复杂的关系。该模型创新性地将时间数据融入到访问级嵌入中，并利用一个考虑时间的 Transformer 和自适应注意机制来生成患者表示。经过两个医疗数据集的评估，我们的方法在预测准确性和可解释性方面表现出显著提升，为个性化和主动式的医疗管理迈出了实质性的进展。

Apr, 2024

TEE4EHR 是一个具有点过程损失的 Transformer 事件编码器模型，用于分析电子健康记录中实验室检验模式，通过在各种基准的事件序列数据集上验证其实用性，并在两个真实的电子健康记录数据库上进行实验证明了其能够改善电子健康记录中的表示学习并在临床预测任务中提供帮助。

Feb, 2024

本文提出使用带有四个模块的神经网络分析病人旅程的疾病预测。通过将时间间隔作为辅助信息，建立了前瞻式的病人旅程的潜在进展模式，其中短期相关性建模并贡献于病人旅程的本地先验生成，并在 MIMIC-III 数据集上展示了更高的预测准确性。

Jul, 2022

提出了一种语言增强的基于转换器的框架，用于在连续、分类、二进制和自由文本功能之间进行信息集成，以更准确地估计医学干预的持续时间，并在 US 和 Asian 的数据集上证明了其有效性。

Mar, 2023

利用深度学习的预测模型，基于电子病历（EHR），在医疗保健领域备受关注。我们提出了一种新颖的时间异构图模型，将病人的 EHR 建模成历史访问节点和医疗事件节点，并利用时间感知访问节点来捕捉患者健康状况的变化，同时通过将时间边特征、全局位置编码和局部结构编码整合到异构图卷积中，捕捉了时间和结构信息。通过对三个真实数据集进行广泛实验，我们证实了 TRANS 的有效性，结果表明我们提出的方法达到了最先进的性能。

May, 2024

现代电子健康记录（EHRs）通过顺序深度学习在个性化患者健康轨迹的跟踪方面拥有巨大的潜力，然而如何有效利用 EHRs 中的多个模态面临重大挑战，因为其复杂特性（如高维度、多模式、稀疏性、不同的记录频率和时间的不规则性）。为了应对医学时间序列中的稀疏性和时间间隔的不规则性，本文引入了一种新的多模态对比学习框架，重点关注医学时间序列和临床笔记。为了利用医学时间序列和临床笔记之间的相互关系，该框架配备了全局对比损失，将患者的多模态特征表示与相应的出院小结进行对齐。通过全局对比来学习区分性的多模态特征。在真实世界的 EHR 数据集上进行了大量实验，证明我们的框架在使用 UF 健康系统的多模态数据（来自 UF Health Gainesville、UF Health Jacksonville 和 UF Health Jacksonville-North 三家医院的 12 万多次大型住院手术）预测九种术后并发症发生的示例任务上优于现有方法。

Apr, 2024

本研究介绍了 BEHRT：一种深度神经序列转导模型，可用于 EHR（电子病历）的多任务预测和疾病轨迹映射，提供高精度的个性化疾病预测，并可通过其注意力机制提供疾病轨迹的个性化视角。

Jul, 2019

我们的研究旨在开发一种异常检测系统，以识别与预期临床发展不符的偏差。通过分析挪威北部医院信托公司（NHT）获得的 16 个月的生命体征记录，我们采用基于 STraTS 变压器架构的自监督框架来表示时间序列数据。然后，利用各种聚类技术对这些表示进行处理，以探索基于患者临床进展的潜在表型。尽管我们正在进行的研究的初步结果是令人鼓舞的，但它们强调了从患者获得的额外人口统计学信息对方法性能更全面的评估的重要性。

Nov, 2023

本文提出一种基于 Transformer 的方法来估计高维多变量时间序列的联合预测分布，该方法基于注意力机制的解码器能可靠地模拟非参数 Copulas 的特性，使得模型具有多种有用的属性，其中包括可以缩放到数百个时间序列，支持预测和插值，可以处理非对齐和不均匀采样的数据，并可以在训练期间无缝地适应缺失数据，最终的实证结果表明我们的模型在多个真实数据集上都可以产生有竞争力的预测效果。

Feb, 2022