Mar, 2024

电子健康记录的多模态分析上的对比学习

PDF
TL;DR该研究提出了一种新颖的多模态特征嵌入生成模型，并设计了一种多模态对比损失函数，通过联合分析结构化和非结构化数据的两种重要模态来捕获患者的完整病历，从而实现多模态电子健康记录特征表示学习并保护隐私。模拟研究结果表明，所提出的算法适用于多种配置，并且进一步验证了该算法在真实世界电子健康记录数据中的临床应用。
electronic health recordmultimodalclinical datafeature representationprivacy-preserving algorithm
发现论文，激发创造
  • 全球对比训练与语言监督下的多模态电子健康记录

    现代电子健康记录（EHRs）通过顺序深度学习在个性化患者健康轨迹的跟踪方面拥有巨大的潜力，然而如何有效利用 EHRs 中的多个模态面临重大挑战，因为其复杂特性（如高维度、多模式、稀疏性、不同的记录频率和时间的不规则性）。为了应对医学时间序列中的稀疏性和时间间隔的不规则性，本文引入了一种新的多模态对比学习框架，重点关注医学时间序列和临床笔记。为了利用医学时间序列和临床笔记之间的相互关系，该框架配备了全局对比损失，将患者的多模态特征表示与相应的出院小结进行对齐。通过全局对比来学习区分性的多模态特征。在真实世界的 EHR 数据集上进行了大量实验，证明我们的框架在使用 UF 健康系统的多模态数据（来自 UF Health Gainesville、UF Health Jacksonville 和 UF Health Jacksonville-North 三家医院的 12 万多次大型住院手术）预测九种术后并发症发生的示例任务上优于现有方法。

    Apr, 2024

  • 多模态数据的重要性：基于结构化和非结构化电子健康记录的语言模型预训练

    本文提出了一种名为 MedM-PLM 的医学多模态预训练语言模型，能够增强电子健康记录的表示能力，探索结构化和非结构化数据之间的相互作用，用于药物推荐、30 天再入院预测和 ICD 编码等三项临床任务，显示出比其他现有方法更好的性能和更全面的解释能力。

    Jan, 2022

  • 电子健康记录与笔记的多模态融合：利用超图和 LLM 集成结构与语义

    提出了一个名为 MINGLE 的新框架，通过融合结构和语义以有效地整合不同类型的 EHR 数据，从而提高预测性能。

    Feb, 2024

  • 基于医疗码为中心的多模态对比电子健康记录建模的层次正则化下次就诊诊断预测

    使用电子病历（EHR）来预测下次就诊诊断是医疗保健中的重要任务，为医疗服务提供者和患者制定主动的未来计划至关重要。然而，许多先前的研究没有充分解决 EHR 数据中固有的异质性和分层特征，不可避免地导致次优性能。为此，我们提出了 NECHO，一种新颖的以医学代码为中心的多模态对比 EHR 学习框架，具备分层正规化。首先，我们使用定制的网络设计和一对双模态对比损失来整合包括医学代码、人口统计和临床记录在内的多方面信息，这些信息都围绕着医学代码表示。我们还使用医学本体中的父级信息对特定于模态的编码器进行正规化，以学习 EHR 数据的层次结构。对 MIMIC-III 数据进行的一系列实验证明了我们方法的有效性。

    Jan, 2024

  • 基于人工智能的电子健康记录和影像数据融合方法

    这篇综述研究了使用人工智能技术将多模式医疗数据进行融合，以开发不同临床应用的 AI 方法。通过对 34 个相关研究进行数据提取和分析，发现多模式融合模型在诊断和预测疾病等临床应用方面显著优于单一模式模型。

    Oct, 2022

  • 在线临床时间序列多模态对比学习

    利用先进的自监督多模式对比学习技术， 注重临床笔记和时间序列，我们引入了一种损失函数：多模式邻域对比损失 (MM-NCL)，展示了我们方法在线预测任务中出色的线性验证和零样本表现。

    Mar, 2024

  • 如何利用多模态电子病历数据进行更好的医学预测？

    本文提出了一种从医疗电子健康系统中提取伴随临床记录的方法，并使用这些数据综合研究了不同模型和数据利用方法对于更好的医疗任务预测的影响。结果表明，我们的融合模型优于不包含临床记录的最新方法，这证明了我们的融合方法的重要性和临床注意点特征的价值。

    Oct, 2021

  • 多模电子健康记录的自动融合提升医疗预测能力

    我们提出了一种名为 AutoFM 的神经架构搜索（NAS）框架，用于自动搜索对多样输入模态和融合策略进行编码的最佳模型架构，并在真实世界的多模式 EHR 数据和预测任务上进行了彻底实验，结果表明我们的框架不仅在现有最先进的方法上实现了显著的性能改进，还有效地发现了有意义的网络架构。

    Jan, 2024

  • 医疗保健中多模态机器学习方法综述

    综述了在医疗保健领域中的多模态机器学习方法，包括使用各种数据模态进行临床诊断、融合技术、多模态数据集和训练策略的评估。

    Feb, 2024

  • 语音电子健康记录：引入多模态音频数据

    通过使用移动 / 网络应用程序进行指导性问题，捕捉健康数据并形成音频电子健康记录（Voice EHR），可以利用大型 AI 模型对患者进行快速分类，提升医疗决策，并通过早期检测潜在地改善结果。该报告引入了全球工作的合作伙伴群体、数据收集所使用的应用程序，并展示了信息丰富的声音电子健康记录（Voice EHR）通过弥补单模临床数据集的典型限制，从常规语音 / 呼吸特征、语音模式和具有语义含义的语言中获得的复杂生物标识可能带来的潜在可扩展性和多样性。

    Apr, 2024