AAAIFeb, 2021

MUFASA: 电子病历的多模态融合架构搜索

PDF
TL;DR本文介绍了一种名为 MUFASA 的多模态融合模型，在电子病历诊断中表现出与传统模型相比具有更高的数据分类准确度。该模型通过结合不同数据模态的表示方法和模型架构的搜索，有效地解决了深度学习模型在电子病历分析中的问题。
deep learningelectronic health recordsneural architecture searchmultimodal fusionmodeling
发现论文，激发创造
  • 多模电子健康记录的自动融合提升医疗预测能力

    我们提出了一种名为 AutoFM 的神经架构搜索（NAS）框架，用于自动搜索对多样输入模态和融合策略进行编码的最佳模型架构，并在真实世界的多模式 EHR 数据和预测任务上进行了彻底实验，结果表明我们的框架不仅在现有最先进的方法上实现了显著的性能改进，还有效地发现了有意义的网络架构。

    Jan, 2024

  • MFAS: 多模态融合架构搜索

    本文提出一种新颖的多模态融合架构搜索空间，使用序列模型搜索方法在不同领域和数据集中寻找优化架构，发现表现优异的融合架构，解决了多模态分类问题。

    Mar, 2019

  • 深度多模态神经架构搜索

    本文提出了一种深度多模态神经网络架构搜索（MMnas）框架， 通过使用基于梯度的 NAS 算法，可以高效地学习不同任务的最佳架构，并设计了一个统一的编码器 - 解码器骨干网络，其中每个编码器或解码器块对应于从预定义的操作池中搜索出来的操作，以及面向不同多模态学习任务的特定头部。实验结果表明，MMnasNet 在三个多模态学习任务上显着优于现有的最先进方法，包括视觉问答、图像文本匹配和视觉定位。

    Apr, 2020

  • 基于人工智能的电子健康记录和影像数据融合方法

    这篇综述研究了使用人工智能技术将多模式医疗数据进行融合，以开发不同临床应用的 AI 方法。通过对 34 个相关研究进行数据提取和分析，发现多模式融合模型在诊断和预测疾病等临床应用方面显著优于单一模式模型。

    Oct, 2022

  • 电子健康记录与笔记的多模态融合：利用超图和 LLM 集成结构与语义

    提出了一个名为 MINGLE 的新框架，通过融合结构和语义以有效地整合不同类型的 EHR 数据，从而提高预测性能。

    Feb, 2024

  • 使用统一多模态数据嵌入和模态感知注意力学习缺失模态的电子健康记录

    本研究提出一种统一的多模态集合嵌入和具有跳过瓶颈的模态感知注意力（MAA），在 MIMIC-IV 数据集上预测死亡率、血管加压素需求和气管插管需求中，该模型优于其他基线模型，无需单独的补偿模块或易错的向前传递。

    May, 2023

  • 全球对比训练与语言监督下的多模态电子健康记录

    现代电子健康记录（EHRs）通过顺序深度学习在个性化患者健康轨迹的跟踪方面拥有巨大的潜力，然而如何有效利用 EHRs 中的多个模态面临重大挑战，因为其复杂特性（如高维度、多模式、稀疏性、不同的记录频率和时间的不规则性）。为了应对医学时间序列中的稀疏性和时间间隔的不规则性，本文引入了一种新的多模态对比学习框架，重点关注医学时间序列和临床笔记。为了利用医学时间序列和临床笔记之间的相互关系，该框架配备了全局对比损失，将患者的多模态特征表示与相应的出院小结进行对齐。通过全局对比来学习区分性的多模态特征。在真实世界的 EHR 数据集上进行了大量实验，证明我们的框架在使用 UF 健康系统的多模态数据（来自 UF Health Gainesville、UF Health Jacksonville 和 UF Health Jacksonville-North 三家医院的 12 万多次大型住院手术）预测九种术后并发症发生的示例任务上优于现有方法。

    Apr, 2024

  • FORESEE: 癌症生存鲁棒预测的多模态和多视图表示学习

    一个新的端到端框架 FORESEE，通过挖掘多模态信息来稳健地预测患者生存情况，同时利用细胞水平、组织水平和肿瘤异质性水平的丰富语义特征，解决了多模态数据的缺失问题，并通过交叉尺度特征融合方法，提高了病理图像特征表征能力。

    May, 2024

  • 一种自适应多模态融合的进化网络架构搜索框架用于手势识别

    我们提出了一个具有自适应多模态融合的进化网络架构搜索框架（AMF-ENAS），通过自动解码，能够自动构建具有不同架构的多模态网络，该算法在多模态手势识别（MHGR）方面取得了最先进的性能。

    Mar, 2024

  • 电子健康记录的多模态分析上的对比学习

    该研究提出了一种新颖的多模态特征嵌入生成模型，并设计了一种多模态对比损失函数，通过联合分析结构化和非结构化数据的两种重要模态来捕获患者的完整病历，从而实现多模态电子健康记录特征表示学习并保护隐私。模拟研究结果表明，所提出的算法适用于多种配置，并且进一步验证了该算法在真实世界电子健康记录数据中的临床应用。

    Mar, 2024