May, 2023

使用统一多模态数据嵌入和模态感知注意力学习缺失模态的电子健康记录

PDF
TL;DR本研究提出一种统一的多模态集合嵌入和具有跳过瓶颈的模态感知注意力（MAA），在 MIMIC-IV 数据集上预测死亡率、血管加压素需求和气管插管需求中，该模型优于其他基线模型，无需单独的补偿模块或易错的向前传递。
electronic health recordmulti-modal set embeddingmodality-aware attentionmortality predictionmimic-iv dataset
发现论文，激发创造
  • 电子健康记录的多模态分析上的对比学习

    该研究提出了一种新颖的多模态特征嵌入生成模型，并设计了一种多模态对比损失函数，通过联合分析结构化和非结构化数据的两种重要模态来捕获患者的完整病历，从而实现多模态电子健康记录特征表示学习并保护隐私。模拟研究结果表明，所提出的算法适用于多种配置，并且进一步验证了该算法在真实世界电子健康记录数据中的临床应用。

    Mar, 2024

  • 多模态电子健康记录的动态嵌入和标记化的时间交叉注意力

    我们提出了一个动态嵌入和分词框架，通过学习多模态临床时间序列的时间感知表示，并结合时间交叉注意力，将其整合到滑动窗口关注的多任务 Transformer 分类器中，在预测超过 120,000 例住院手术的九种术后并发症的示例任务中，使用来自美国三家医院和两个学术医疗中心的多模态数据，我们的嵌入和分词框架优于基线方法。

    Mar, 2024

  • M$^3$Care：多模式医疗数据中的缺失模态学习

    使用缺失模态下的相似度度量与患者邻居的信息进行相关任务的模态补齐模型在多模态医疗数据的临床分析中表现优于现有方法，发现与医学知识一致的结果。

    Oct, 2022

  • 多模态数据的重要性：基于结构化和非结构化电子健康记录的语言模型预训练

    本文提出了一种名为 MedM-PLM 的医学多模态预训练语言模型，能够增强电子健康记录的表示能力，探索结构化和非结构化数据之间的相互作用，用于药物推荐、30 天再入院预测和 ICD 编码等三项临床任务，显示出比其他现有方法更好的性能和更全面的解释能力。

    Jan, 2022

  • 应用多模态临床虚拟笔记进行急诊室预测任务的电子病历多嵌入模型（MEME）

    我们介绍了一种多嵌入模型 (Multiple Embedding Model) 用于电子健康记录 (EHR)，该模型将 EHR 视为多模态数据，并使用大型语言模型 (LLM) 来表示 EHR。通过将每个 EHR 模态嵌入到一个统一的框架中，我们展示了 MEME 的有效性，并在多个医院系统的急诊科中应用。结果显示 MEME 的性能优于单模态嵌入方法和传统机器学习方法，但我们也观察到在不同医院机构间的泛化能力方面存在明显限制。

    Jan, 2024

  • 全球对比训练与语言监督下的多模态电子健康记录

    现代电子健康记录（EHRs）通过顺序深度学习在个性化患者健康轨迹的跟踪方面拥有巨大的潜力，然而如何有效利用 EHRs 中的多个模态面临重大挑战，因为其复杂特性（如高维度、多模式、稀疏性、不同的记录频率和时间的不规则性）。为了应对医学时间序列中的稀疏性和时间间隔的不规则性，本文引入了一种新的多模态对比学习框架，重点关注医学时间序列和临床笔记。为了利用医学时间序列和临床笔记之间的相互关系，该框架配备了全局对比损失，将患者的多模态特征表示与相应的出院小结进行对齐。通过全局对比来学习区分性的多模态特征。在真实世界的 EHR 数据集上进行了大量实验，证明我们的框架在使用 UF 健康系统的多模态数据（来自 UF Health Gainesville、UF Health Jacksonville 和 UF Health Jacksonville-North 三家医院的 12 万多次大型住院手术）预测九种术后并发症发生的示例任务上优于现有方法。

    Apr, 2024

  • 错了肺！评估和提高医学数据无监督多模态编码器的可解释性

    在电子健康记录上进行多模态模型的预训练可以学习表示，以最小的监督进行下游任务的转移。最近的多模态模型在图像区域和句子之间引入了软局部对齐，这对医疗领域非常有意义，但标注结果发现图像区域与句子之间的关注并不一致。一些简单的技术，如允许模型退出图像的关注和少量微调，可能有望改善对齐，减少对人工干预的依赖。

    Oct, 2022

  • 面对缺失模态问题，如何打造强大的多模态模型？

    多模态学习中处理缺失模态的信息论方法，通过引入 Uni-Modal Ensemble with Missing Modality Adaptation 技术，实现了对非缺失模态的特征提取和融合过程中的噪声鲁棒性增强，适用于广泛的模态并可无缝集成大规模预训练编码器，展示了在音频 - 视觉数据集和视觉 - 语言数据集上的有效性。

    Oct, 2023

  • 多模电子健康记录的自动融合提升医疗预测能力

    我们提出了一种名为 AutoFM 的神经架构搜索（NAS）框架，用于自动搜索对多样输入模态和融合策略进行编码的最佳模型架构，并在真实世界的多模式 EHR 数据和预测任务上进行了彻底实验，结果表明我们的框架不仅在现有最先进的方法上实现了显著的性能改进，还有效地发现了有意义的网络架构。

    Jan, 2024

  • 缺失感知多分支自注意力编码器用于不规则纵向电子健康档案的 MUSE-Net

    大数据时代使大量的临床数据变得容易获得，特别是以电子健康记录（EHRs）的形式，提供了发展数据驱动诊断工具以增强临床决策的前所未有的机会。然而，将 EHRs 应用于数据驱动建模面临着使时间间隔不规则的多变量时间序列、不完整问题和数据不平衡等挑战。因此，我们提出了一种新颖的适应缺失感知的多分支自注意编码器（MUSE-Net），以应对对数据驱动疾病预测中对长期 EHRs 建模的挑战。MUSE-Net 利用带有缺失值掩码的多任务高斯过程（MGP）进行数据插补，采用多分支架构解决数据不平衡问题，并利用时间感知自注意编码器考虑长期 EHRs 中不规则的时间间隔。我们使用合成和真实数据集对提出的 MUSE-Net 进行评估。实验结果表明，我们的 MUSE-Net 优于广泛用于研究纵向信号的现有方法。

    Jun, 2024