Oct, 2022

M$^3$Care：多模式医疗数据中的缺失模态学习

PDF
TL;DR使用缺失模态下的相似度度量与患者邻居的信息进行相关任务的模态补齐模型在多模态医疗数据的临床分析中表现优于现有方法，发现与医学知识一致的结果。
electronic health recordmissing modalitiesmultimodal healthcare dataclinical analysissimilarity metric
发现论文，激发创造
  • M3H：面向医疗保健的多模态多任务机器学习

    AI 在医疗领域取得的最新突破有望从根本上提升我们对医疗的研究和理解。在这项工作中，我们介绍了 M3H 框架，它是一个可解释的多模态多任务医疗机器学习框架，能够从不同的多模态输入中学习，适用于各种医疗任务和机器学习问题类别，同时提供了有关任务相互依赖性动态的解释洞察。

    Apr, 2024

  • 使用统一多模态数据嵌入和模态感知注意力学习缺失模态的电子健康记录

    本研究提出一种统一的多模态集合嵌入和具有跳过瓶颈的模态感知注意力（MAA），在 MIMIC-IV 数据集上预测死亡率、血管加压素需求和气管插管需求中，该模型优于其他基线模型，无需单独的补偿模块或易错的向前传递。

    May, 2023

  • FlexCare: 灵活的多模态健康预测中利用交叉任务协同

    提出了一种名为 FlexCare 的统一医疗预测模型，可以灵活地处理不完整的多模态输入，改善对多个医疗任务的适应性。该模型通过将多任务预测分解为一系列异步的单任务预测来突破传统的并行多任务预测范式，并通过引入多模态信息提取模块和多模态融合模块，在考虑不同模态之间和不同任务之间的信息差异的基础上实现对全面多模态数据的利用。通过在多个任务上进行实验，并进一步分析，验证了该多任务策略在医疗领域的可行性和潜力。

    Jun, 2024

  • 电子健康记录的多模态分析上的对比学习

    该研究提出了一种新颖的多模态特征嵌入生成模型，并设计了一种多模态对比损失函数，通过联合分析结构化和非结构化数据的两种重要模态来捕获患者的完整病历，从而实现多模态电子健康记录特征表示学习并保护隐私。模拟研究结果表明，所提出的算法适用于多种配置，并且进一步验证了该算法在真实世界电子健康记录数据中的临床应用。

    Mar, 2024

  • DrFuse: 临床多模态融合学习非配备模态和模态不一致性的解耦表示

    将电子健康档案（EHR）和医学影像相结合对临床医生在诊断和预测预后中至关重要。作者提出了一种名为 DrFuse 的方法，通过分离跨模态的共享特征和每个模态内的独特特征来解决缺失模态和模态不一致的问题，在真实世界的大规模数据集上验证了该方法的有效性并超越了现有模型。

    Mar, 2024

  • 探索多模式自为视角数据集中的缺失模态

    本研究通过引入 Missing Modality Token（MMT）的新概念，综合分析了缺失模态对自我中心动作识别的影响，并证明了 MMT 方法在处理缺失模态时的优越性。

    Jan, 2024

  • 多模态数据的重要性：基于结构化和非结构化电子健康记录的语言模型预训练

    本文提出了一种名为 MedM-PLM 的医学多模态预训练语言模型，能够增强电子健康记录的表示能力，探索结构化和非结构化数据之间的相互作用，用于药物推荐、30 天再入院预测和 ICD 编码等三项临床任务，显示出比其他现有方法更好的性能和更全面的解释能力。

    Jan, 2022

  • 借宝于邻：针对多模态学习的上下文学习在缺失模态和数据稀缺情况下的应用

    通过使用检索增强上下文学习来解决多模态机器学习中缺失模态和样本有限的问题，提高分类模型性能和样本效率。

    Mar, 2024

  • 缺失模态插值的统一多模态图像合成

    该论文提出了一种新的统一的多模式图像综合方法，包括通过生成敌对网络从任意可用模式的组合中合成丢失的模态，并使用共性和差异敏感编码器及动态特征统一模块来提高图像合成质量和适应性，实验结果表明该方法在处理多种综合任务时具有优越的性能。

    Apr, 2023

  • 在线临床时间序列多模态对比学习

    利用先进的自监督多模式对比学习技术， 注重临床笔记和时间序列，我们引入了一种损失函数：多模式邻域对比损失 (MM-NCL)，展示了我们方法在线预测任务中出色的线性验证和零样本表现。

    Mar, 2024