Apr, 2023

应急科室结果预测的多模态感知语言模型

PDF
TL;DR本文探讨了多模式语言建模在医疗保健领域的应用，特别是基于急诊科主诉和生命体征文本信息的病人问题和需求预测，通过对 MIMIC-IV ED 数据集的诊断代码预测实验分析，我们发现多模式提高了预测性能，并且对一些疾病类别来说，生命体征具有更强的预测能力，并透过交叉注意层的分析，展示了多模式如何提升模型预测。
multi-modal language modelinghealthcare applicationsoutcome predictionpatient triagevital signs
发现论文，激发创造
  • 多模态数据的重要性：基于结构化和非结构化电子健康记录的语言模型预训练

    本文提出了一种名为 MedM-PLM 的医学多模态预训练语言模型，能够增强电子健康记录的表示能力，探索结构化和非结构化数据之间的相互作用，用于药物推荐、30 天再入院预测和 ICD 编码等三项临床任务，显示出比其他现有方法更好的性能和更全面的解释能力。

    Jan, 2022

  • 基于大型语言模型的多模态临床试验结果预测

    临床试验结果预测的多模态融合专家模型（LIFTED）通过将各种方式的数据转化为自然语言描述，再利用统一的噪声抵抗编码器提取信息，进一步利用稀疏的专家模型优化表示，通过动态集成不同方式的表示进行预测，有效提升临床试验结果预测性能。

    Feb, 2024

  • 利用电子病历数据进行 5 年慢性病队列预测的大型多模态语言模型

    通过收集来自台湾医院数据库的五年电子健康记录，该研究提出了一个新颖的大型语言多模型（LLMMs）框架，将临床笔记和实验室检测结果的多模态数据结合起来预测慢性疾病风险，观察到将 clinicalBERT 和 PubMed-BERT 与注意力融合相结合可以在多类慢性疾病和糖尿病预测中达到 73% 的准确率，将实验室检测值转化为文本描述后，利用 Flan T-5 模型可以达到 76% 的 ROC 曲线下面积（AUROC），从而显著提高了糖尿病早期预测的准确性。

    Mar, 2024

  • 利用医学命名实体和多模态学习提高医院死亡率预测

    本研究旨在探究如何利用医疗自然语言处理技术，将临床文本与结构化临床数据相结合，建立多模态神经网络模型，实现对重症监护室患者住院死亡风险的预测。研究结果显示，相较于基准模型，本模型的 AUC 值提高了 2%。

    Nov, 2018

  • 多模态转换器：将临床记录与结构化电子病历数据融合，可解释的住院死亡率预测

    本论文提出一个新型的多模态变压器，用于融合医疗记录数据和医生的述职记录来预测住院死亡率，并使用可视化方法展示关键的医疗记录和医疗数据特征，进而提高了诊断的可解释性和预测的精度。

    Aug, 2022

  • 利用视觉 - 语言预训练实现医学图像和文本的多模态理解与生成

    本文提出了一种名为 MedViLL 的多模态自然语言处理模型，基于 BERT，使用一种新颖的多模态注意力掩码机制，通过在医学领域内的广泛一系列的多模态表现学习任务，包括影像报告分类、影像报告检索、影像问题回答和放射学报告生成，进行了统计和严格的评估，证明了 MedViLL 在各种基线上的优越性能表现，尤其是在三个影像报告数据集（MIMIC-CXR、Open-I 和 VQA-RAD）上的实现。

    May, 2021

  • 电子健康记录的多模态分析上的对比学习

    该研究提出了一种新颖的多模态特征嵌入生成模型，并设计了一种多模态对比损失函数，通过联合分析结构化和非结构化数据的两种重要模态来捕获患者的完整病历，从而实现多模态电子健康记录特征表示学习并保护隐私。模拟研究结果表明，所提出的算法适用于多种配置，并且进一步验证了该算法在真实世界电子健康记录数据中的临床应用。

    Mar, 2024

  • 一种基于 Transformer 的表征学习模型，用于临床诊断的多模态输入统一处理

    我们提出了一个基于 Transformer 的诊断辅助模型，可以以统一的方式处理多模态输入，该模型在辨别肺部疾病方面表现出了比仅使用图像模型和非统一多模态诊断模型更高的识别率，并在 COVID-19 患者的不良临床预后方面表现出了更高的预测能力。

    Jun, 2023

  • 全球对比训练与语言监督下的多模态电子健康记录

    现代电子健康记录（EHRs）通过顺序深度学习在个性化患者健康轨迹的跟踪方面拥有巨大的潜力，然而如何有效利用 EHRs 中的多个模态面临重大挑战，因为其复杂特性（如高维度、多模式、稀疏性、不同的记录频率和时间的不规则性）。为了应对医学时间序列中的稀疏性和时间间隔的不规则性，本文引入了一种新的多模态对比学习框架，重点关注医学时间序列和临床笔记。为了利用医学时间序列和临床笔记之间的相互关系，该框架配备了全局对比损失，将患者的多模态特征表示与相应的出院小结进行对齐。通过全局对比来学习区分性的多模态特征。在真实世界的 EHR 数据集上进行了大量实验，证明我们的框架在使用 UF 健康系统的多模态数据（来自 UF Health Gainesville、UF Health Jacksonville 和 UF Health Jacksonville-North 三家医院的 12 万多次大型住院手术）预测九种术后并发症发生的示例任务上优于现有方法。

    Apr, 2024

  • 基于多模态融合的自监督预测编码模型，在细粒度时间尺度下进行患者恶化预测

    本研究提出了一种基于自我监督预测编码和多模态融合的按小时预测死亡率和升压药需要的方法，并通过广泛的实验证明了该方法在远期预测方面的显着性能提高。

    Oct, 2022