KDDJun, 2024

FlexCare: 灵活的多模态健康预测中利用交叉任务协同

PDF
TL;DR提出了一种名为 FlexCare 的统一医疗预测模型，可以灵活地处理不完整的多模态输入，改善对多个医疗任务的适应性。该模型通过将多任务预测分解为一系列异步的单任务预测来突破传统的并行多任务预测范式，并通过引入多模态信息提取模块和多模态融合模块，在考虑不同模态之间和不同任务之间的信息差异的基础上实现对全面多模态数据的利用。通过在多个任务上进行实验，并进一步分析，验证了该多任务策略在医疗领域的可行性和潜力。
multimodal electronic health recordmultitask learningincomplete multimodal inputshealthcare prediction modelmultimodal fusion module
发现论文，激发创造
  • M$^3$Care：多模式医疗数据中的缺失模态学习

    使用缺失模态下的相似度度量与患者邻居的信息进行相关任务的模态补齐模型在多模态医疗数据的临床分析中表现优于现有方法，发现与医学知识一致的结果。

    Oct, 2022

  • 全球对比训练与语言监督下的多模态电子健康记录

    现代电子健康记录（EHRs）通过顺序深度学习在个性化患者健康轨迹的跟踪方面拥有巨大的潜力，然而如何有效利用 EHRs 中的多个模态面临重大挑战，因为其复杂特性（如高维度、多模式、稀疏性、不同的记录频率和时间的不规则性）。为了应对医学时间序列中的稀疏性和时间间隔的不规则性，本文引入了一种新的多模态对比学习框架，重点关注医学时间序列和临床笔记。为了利用医学时间序列和临床笔记之间的相互关系，该框架配备了全局对比损失，将患者的多模态特征表示与相应的出院小结进行对齐。通过全局对比来学习区分性的多模态特征。在真实世界的 EHR 数据集上进行了大量实验，证明我们的框架在使用 UF 健康系统的多模态数据（来自 UF Health Gainesville、UF Health Jacksonville 和 UF Health Jacksonville-North 三家医院的 12 万多次大型住院手术）预测九种术后并发症发生的示例任务上优于现有方法。

    Apr, 2024

  • M3H：面向医疗保健的多模态多任务机器学习

    AI 在医疗领域取得的最新突破有望从根本上提升我们对医疗的研究和理解。在这项工作中，我们介绍了 M3H 框架，它是一个可解释的多模态多任务医疗机器学习框架，能够从不同的多模态输入中学习，适用于各种医疗任务和机器学习问题类别，同时提供了有关任务相互依赖性动态的解释洞察。

    Apr, 2024

  • 如何利用多模态电子病历数据进行更好的医学预测？

    本文提出了一种从医疗电子健康系统中提取伴随临床记录的方法，并使用这些数据综合研究了不同模型和数据利用方法对于更好的医疗任务预测的影响。结果表明，我们的融合模型优于不包含临床记录的最新方法，这证明了我们的融合方法的重要性和临床注意点特征的价值。

    Oct, 2021

  • 电子健康记录的多模态分析上的对比学习

    该研究提出了一种新颖的多模态特征嵌入生成模型，并设计了一种多模态对比损失函数，通过联合分析结构化和非结构化数据的两种重要模态来捕获患者的完整病历，从而实现多模态电子健康记录特征表示学习并保护隐私。模拟研究结果表明，所提出的算法适用于多种配置，并且进一步验证了该算法在真实世界电子健康记录数据中的临床应用。

    Mar, 2024

  • 基于人工智能的电子健康记录和影像数据融合方法

    这篇综述研究了使用人工智能技术将多模式医疗数据进行融合，以开发不同临床应用的 AI 方法。通过对 34 个相关研究进行数据提取和分析，发现多模式融合模型在诊断和预测疾病等临床应用方面显著优于单一模式模型。

    Oct, 2022

  • 多模电子健康记录的自动融合提升医疗预测能力

    我们提出了一种名为 AutoFM 的神经架构搜索（NAS）框架，用于自动搜索对多样输入模态和融合策略进行编码的最佳模型架构，并在真实世界的多模式 EHR 数据和预测任务上进行了彻底实验，结果表明我们的框架不仅在现有最先进的方法上实现了显著的性能改进，还有效地发现了有意义的网络架构。

    Jan, 2024

  • 医疗保健中多模态机器学习方法综述

    综述了在医疗保健领域中的多模态机器学习方法，包括使用各种数据模态进行临床诊断、融合技术、多模态数据集和训练策略的评估。

    Feb, 2024

  • 在线临床时间序列多模态对比学习

    利用先进的自监督多模式对比学习技术， 注重临床笔记和时间序列，我们引入了一种损失函数：多模式邻域对比损失 (MM-NCL)，展示了我们方法在线预测任务中出色的线性验证和零样本表现。

    Mar, 2024

  • 应急科室结果预测的多模态感知语言模型

    本文探讨了多模式语言建模在医疗保健领域的应用，特别是基于急诊科主诉和生命体征文本信息的病人问题和需求预测，通过对 MIMIC-IV ED 数据集的诊断代码预测实验分析，我们发现多模式提高了预测性能，并且对一些疾病类别来说，生命体征具有更强的预测能力，并透过交叉注意层的分析，展示了多模式如何提升模型预测。

    Apr, 2023