May, 2024

融合 RAG 以提升多模态电子健康记录预测建模的 EMERGE

PDF
TL;DR利用 EMERGE 框架、Retrieval-Augmented Generation (RAG) 驅動，提取多模態電子健康紀錄 (EHR) 中的實體，並結合專業 PrimeKG 確保一致性，以加強多模態 EHR 預測建模並生成患者健康狀態相關摘要，通過交叉注意的自適應多模態融合網絡與其他模態進行融合，並在 MIMIC-III 和 MIMIC-IV 資料集上的實驗中證明 EMERGE 框架相對於基線模型的優越性，徹底研究和分析驗證了每個設計模組的有效性，以及該框架對於數據稀疏性的魯棒性。EMERGE 顯著提高了多模態 EHR 數據在醫療保健中的應用，彌補了對於知情臨床預測至關重要的細緻醫學背景的差距。
multimodal electronic health recordsclinical predictive capabilitiesretrieval-augmented generation (rag)knowledge graphsmultimodal ehr predictive modeling
发现论文，激发创造
  • REALM: 通过大型语言模型驱动的 RAG 的多模态电子健康记录分析的增强

    提出了一种名为 REALM 的框架，通过整合多模态电子健康记录（EHR）数据和知识图谱 (KG)，利用大型语言模型 (LLM) 编码临床笔记，并使用 GRU 模型编码时间序列 EHR 数据，提取任务相关的医疗实体，并将这些实体与专业标记的外部知识图谱 (PrimeKG) 进行匹配，通过适应性多模态融合网络将提取的知识与多模态 EHR 数据进行整合，最后通过对 MIMIC-III 的死亡率和再入院任务的大量实验，证明了 REALM 框架相比基线模型具有更优异的性能，强调了每个模块的有效性，从而改进了在医疗保健中利用多模态 EHR 数据并弥合了为明智临床预测所必需的细致医疗背景的差距。

    Feb, 2024

  • 电子健康记录与笔记的多模态融合：利用超图和 LLM 集成结构与语义

    提出了一个名为 MINGLE 的新框架，通过融合结构和语义以有效地整合不同类型的 EHR 数据，从而提高预测性能。

    Feb, 2024

  • 如何利用多模态电子病历数据进行更好的医学预测？

    本文提出了一种从医疗电子健康系统中提取伴随临床记录的方法，并使用这些数据综合研究了不同模型和数据利用方法对于更好的医疗任务预测的影响。结果表明，我们的融合模型优于不包含临床记录的最新方法，这证明了我们的融合方法的重要性和临床注意点特征的价值。

    Oct, 2021

  • 基于混合 RAG 的多模态安全医疗数据管理：一种基于扩散式合同理论的方法

    在不断发展的医疗保健领域中，安全的数据管理和有效的数据共享变得至关重要。本文提出了一种基于混合的检索增强生成（RAG）增强的医疗保健数据管理的多模跨链结构，通过使用多模度量来过滤各种单模 RAG 结果，并将这些检索结果作为附加输入融入到 MLLMs 中，从而提高了 MLLMs 的输出质量。同时使用更新度的评估以间接评估 MLLMs 对数据新鲜度的影响，并利用契约理论激励医疗保健数据持有者共享新鲜数据，减轻数据共享中的信息不对称，最后，利用基于生成扩散模型的强化学习算法来识别高效数据共享的最佳契约。数值结果证明了所提出的方案的有效性，实现了安全和高效的医疗保健数据管理。

    Jul, 2024

  • 全球对比训练与语言监督下的多模态电子健康记录

    现代电子健康记录（EHRs）通过顺序深度学习在个性化患者健康轨迹的跟踪方面拥有巨大的潜力，然而如何有效利用 EHRs 中的多个模态面临重大挑战，因为其复杂特性（如高维度、多模式、稀疏性、不同的记录频率和时间的不规则性）。为了应对医学时间序列中的稀疏性和时间间隔的不规则性，本文引入了一种新的多模态对比学习框架，重点关注医学时间序列和临床笔记。为了利用医学时间序列和临床笔记之间的相互关系，该框架配备了全局对比损失，将患者的多模态特征表示与相应的出院小结进行对齐。通过全局对比来学习区分性的多模态特征。在真实世界的 EHR 数据集上进行了大量实验，证明我们的框架在使用 UF 健康系统的多模态数据（来自 UF Health Gainesville、UF Health Jacksonville 和 UF Health Jacksonville-North 三家医院的 12 万多次大型住院手术）预测九种术后并发症发生的示例任务上优于现有方法。

    Apr, 2024

  • 大型语言模型中的检索增强生成的开发与测试 -- 一份案例研究报告

    大型语言模型（LLMs）在医疗应用中具有重要潜力，而检索增强生成（RAG）被认为是一种有前景的方法来定制 LLMs 中的领域知识。该研究通过开发和评估一个专门针对医疗保健领域、特别关注术前医学的 LLM-RAG 流程，验证了其可行性。

    Jan, 2024

  • 利用电子健康记录的流行病学问题回答中的检索辅助文本转 SQL 生成

    引入一种基于文本到 SQL 生成和检索增强生成（RAG）的端到端方法，利用电子健康记录和索赔数据回答流行病学问题，研究表明该方法显著提高了性能，对提高语言模型能力有应用前景。

    Mar, 2024

  • 多模态转换器：将临床记录与结构化电子病历数据融合，可解释的住院死亡率预测

    本论文提出一个新型的多模态变压器，用于融合医疗记录数据和医生的述职记录来预测住院死亡率，并使用可视化方法展示关键的医疗记录和医疗数据特征，进而提高了诊断的可解释性和预测的精度。

    Aug, 2022

  • 医学领域检索增强生成的基准测试

    通过在医学问答数据集上的大规模实验，我们提出了一种基于检索增强生成的评估框架 MIRAGE，以改善大型语言模型在医学领域中的表现，并通过引入 MedRAG 工具包提高了六个不同语言模型的准确性，最高可达到 18%，将 GPT-3.5 和 Mixtral 的性能提升至 GPT-4 级别。

    Feb, 2024

  • 基于检索增强生成的问答型电子健康记录摘要

    电子健康记录的总结可以极大地减少患者和医务人员的 “屏幕时间”。近年来，通过使用最先进的神经模型，电子健康记录的总结已经采用了机器学习流程。然而，这些模型产生了不够令人满意的结果，这要归因于很难获取足够的注释数据进行训练。此外，考虑到电子健康记录的整个内容在总结中的要求，由于现代大型语言模型（LLMs）中的注意机制增加了二次复杂度，导致性能较差。我们在此提出了一种方法，通过结合语义搜索、检索增强生成（RAG）和使用最新的 LLMs 的问答方法来减轻这些缺点。在我们的方法中，总结是根据专业学科专家（SMEs）认为的重要问题的答案的提取。我们的方法非常高效；几乎不需要训练；不会受到 LLMs 的 “幻觉” 问题的困扰；而且可以确保多样性，因为总结中不会有重复的内容，而是针对特定问题的多样答案。

    Jan, 2024