ICMLJan, 2024

应用多模态临床虚拟笔记进行急诊室预测任务的电子病历多嵌入模型（MEME）

PDF
TL;DR我们介绍了一种多嵌入模型 (Multiple Embedding Model) 用于电子健康记录 (EHR)，该模型将 EHR 视为多模态数据，并使用大型语言模型 (LLM) 来表示 EHR。通过将每个 EHR 模态嵌入到一个统一的框架中，我们展示了 MEME 的有效性，并在多个医院系统的急诊科中应用。结果显示 MEME 的性能优于单模态嵌入方法和传统机器学习方法，但我们也观察到在不同医院机构间的泛化能力方面存在明显限制。
multiple embedding model for ehrelectronic health recordslarge language modelsmultimodal approachemergency department
发现论文，激发创造
  • MiME：电子健康记录的多级医学嵌入用于预测性医疗

    本文介绍一种基于 EHR 数据的多级医疗嵌入模型（MiME），该模型可以有效地解决由于数据量不足而导致的医疗预测任务的问题，并且在心衰预测和序列疾病预测方面表现出极好的性能。

    Oct, 2018

  • 基于临床记录抽取的不同表征模型评估死亡率预测

    本研究基于 Transformers 预训练的语言表示学习方法，将特定医学记录中的信息提取，映射到标准词汇中，并在医院死亡预测任务中测试不同输入格式的性能，结果表明使用提取的唯一概念和标准名称作为输入可以获得更好的性能。

    Jul, 2022

  • 如何利用多模态电子病历数据进行更好的医学预测？

    本文提出了一种从医疗电子健康系统中提取伴随临床记录的方法，并使用这些数据综合研究了不同模型和数据利用方法对于更好的医疗任务预测的影响。结果表明，我们的融合模型优于不包含临床记录的最新方法，这证明了我们的融合方法的重要性和临床注意点特征的价值。

    Oct, 2021

  • 使用统一多模态数据嵌入和模态感知注意力学习缺失模态的电子健康记录

    本研究提出一种统一的多模态集合嵌入和具有跳过瓶颈的模态感知注意力（MAA），在 MIMIC-IV 数据集上预测死亡率、血管加压素需求和气管插管需求中，该模型优于其他基线模型，无需单独的补偿模块或易错的向前传递。

    May, 2023

  • 多模态电子健康记录的动态嵌入和标记化的时间交叉注意力

    我们提出了一个动态嵌入和分词框架，通过学习多模态临床时间序列的时间感知表示，并结合时间交叉注意力，将其整合到滑动窗口关注的多任务 Transformer 分类器中，在预测超过 120,000 例住院手术的九种术后并发症的示例任务中，使用来自美国三家医院和两个学术医疗中心的多模态数据，我们的嵌入和分词框架优于基线方法。

    Mar, 2024

  • 电子健康记录与笔记的多模态融合：利用超图和 LLM 集成结构与语义

    提出了一个名为 MINGLE 的新框架，通过融合结构和语义以有效地整合不同类型的 EHR 数据，从而提高预测性能。

    Feb, 2024

  • 融合 RAG 以提升多模态电子健康记录预测建模的 EMERGE

    利用 EMERGE 框架、Retrieval-Augmented Generation (RAG) 驅動，提取多模態電子健康紀錄 (EHR) 中的實體，並結合專業 PrimeKG 確保一致性，以加強多模態 EHR 預測建模並生成患者健康狀態相關摘要，通過交叉注意的自適應多模態融合網絡與其他模態進行融合，並在 MIMIC-III 和 MIMIC-IV 資料集上的實驗中證明 EMERGE 框架相對於基線模型的優越性，徹底研究和分析驗證了每個設計模組的有效性，以及該框架對於數據稀疏性的魯棒性。EMERGE 顯著提高了多模態 EHR 數據在醫療保健中的應用，彌補了對於知情臨床預測至關重要的細緻醫學背景的差距。

    May, 2024

  • 电子健康记录的多模态分析上的对比学习

    该研究提出了一种新颖的多模态特征嵌入生成模型，并设计了一种多模态对比损失函数，通过联合分析结构化和非结构化数据的两种重要模态来捕获患者的完整病历，从而实现多模态电子健康记录特征表示学习并保护隐私。模拟研究结果表明，所提出的算法适用于多种配置，并且进一步验证了该算法在真实世界电子健康记录数据中的临床应用。

    Mar, 2024

  • REALM: 通过大型语言模型驱动的 RAG 的多模态电子健康记录分析的增强

    提出了一种名为 REALM 的框架，通过整合多模态电子健康记录（EHR）数据和知识图谱 (KG)，利用大型语言模型 (LLM) 编码临床笔记，并使用 GRU 模型编码时间序列 EHR 数据，提取任务相关的医疗实体，并将这些实体与专业标记的外部知识图谱 (PrimeKG) 进行匹配，通过适应性多模态融合网络将提取的知识与多模态 EHR 数据进行整合，最后通过对 MIMIC-III 的死亡率和再入院任务的大量实验，证明了 REALM 框架相比基线模型具有更优异的性能，强调了每个模块的有效性，从而改进了在医疗保健中利用多模态 EHR 数据并弥合了为明智临床预测所必需的细致医疗背景的差距。

    Feb, 2024

  • PheME: 一种深度集成框架，用于改进来自多模态数据的表型预测

    本文提出了 PheME 这一基于多模态数据应用深度神经网络和模型融合技术的方法来准确地从电子病历中提取表型信息，以改善表型预测的性能。经过实验验证，PheME 方法在使用多模态数据的情况下，在七种疾病的表型预测中都获得了显著的提高。

    Mar, 2023