DrFuse: 临床多模态融合学习非配备模态和模态不一致性的解耦表示

AAAIMar, 2024

DrFuse: 临床多模态融合学习非配备模态和模态不一致性的解耦表示

DrFuse: Learning Disentangled Representation for Clinical Multi-Modal Fusion with Missing Modality and Modal Inconsistency

PDF

Wenfang Ya, Kejing Yin, William K. Cheung, Jia Liu, Jing Qin

TL;DR将电子健康档案（EHR）和医学影像相结合对临床医生在诊断和预测预后中至关重要。作者提出了一种名为 DrFuse 的方法，通过分离跨模态的共享特征和每个模态内的独特特征来解决缺失模态和模态不一致的问题，在真实世界的大规模数据集上验证了该方法的有效性并超越了现有模型。

Abstract

The combination of electronic health records (EHR) and medical images is crucial for clinicians in making diagnoses and forecasting prognosis. Strategically fusing these two data modalities has great potential to

electronic health records medical images machine learning models clinical multi-modal fusion missing modality issue

发现论文，激发创造

医疗数据的多模态融合架构启用缺失模态

本研究旨在开发一种对医疗数据具有鲁棒性的高效多模态融合架构，并进一步提高疾病诊断的性能。实验证明，我们提出的多模态融合架构有效地融合了三种模态并对缺失模态表现出较强的鲁棒性。该方法有望扩展到更多模态以增强模型的临床实用性。

Sep, 2023

AliFuse：多模医学数据对齐与融合用于计算机辅助诊断

提出了一种基于转换器的框架 Alifuse，用于对齐和融合多模态医学数据，应用于阿尔茨海默病的分类，并在五个公共数据集上取得了领先的性能。

Jan, 2024

基于人工智能的电子健康记录和影像数据融合方法

这篇综述研究了使用人工智能技术将多模式医疗数据进行融合，以开发不同临床应用的 AI 方法。通过对 34 个相关研究进行数据提取和分析，发现多模式融合模型在诊断和预测疾病等临床应用方面显著优于单一模式模型。

Oct, 2022

基于特征分离和门控融合的鲁棒多模式脑肿瘤分割

本研究提出一种新的多模态分割框架，使用特征解缠来将多模态数据分解为特定于每种模态的出现代码和吸收多模态信息的模态不变内容代码，从而通过在不同区域门控不同模态的贡献来融合来自每种模态的解缠内容代码，在各个模态数据缺失的情况下获得了优异的鲁棒性，尤其是在 BRATS 挑战数据集的脑肿瘤分割任务中表现出了优秀的性能。

Feb, 2020

M$^3$Care：多模式医疗数据中的缺失模态学习

使用缺失模态下的相似度度量与患者邻居的信息进行相关任务的模态补齐模型在多模态医疗数据的临床分析中表现优于现有方法，发现与医学知识一致的结果。

Oct, 2022

缺失模态插值的统一多模态图像合成

该论文提出了一种新的统一的多模式图像综合方法，包括通过生成敌对网络从任意可用模式的组合中合成丢失的模态，并使用共性和差异敏感编码器及动态特征统一模块来提高图像合成质量和适应性，实验结果表明该方法在处理多种综合任务时具有优越的性能。

Apr, 2023

朝向精准医疗：时序和图像数据的稳健融合

利用多模态数据，特别是医学实验的图像和时间序列数据，提出一种新的方法来改进临床应用中的多模态深度学习，在预测死亡率和表型分型等重要领域中取得了有效的结果，同时克服了噪声和不平衡数据集的挑战，并采用不确定性模型和注意力机制，提高了模型的性能和鲁棒性。

May, 2024

全球对比训练与语言监督下的多模态电子健康记录

现代电子健康记录（EHRs）通过顺序深度学习在个性化患者健康轨迹的跟踪方面拥有巨大的潜力，然而如何有效利用 EHRs 中的多个模态面临重大挑战，因为其复杂特性（如高维度、多模式、稀疏性、不同的记录频率和时间的不规则性）。为了应对医学时间序列中的稀疏性和时间间隔的不规则性，本文引入了一种新的多模态对比学习框架，重点关注医学时间序列和临床笔记。为了利用医学时间序列和临床笔记之间的相互关系，该框架配备了全局对比损失，将患者的多模态特征表示与相应的出院小结进行对齐。通过全局对比来学习区分性的多模态特征。在真实世界的 EHR 数据集上进行了大量实验，证明我们的框架在使用 UF 健康系统的多模态数据（来自 UF Health Gainesville、UF Health Jacksonville 和 UF Health Jacksonville-North 三家医院的 12 万多次大型住院手术）预测九种术后并发症发生的示例任务上优于现有方法。

Apr, 2024

异构图学习在多模式医学数据分析中的应用

我们介绍一种名为 HetMed 的图形框架，可以将多模态医疗数据融合在一起，这通过构造一个多重网络来实现，该网络涵盖患者的多种非图像特征，以系统的方式捕捉患者之间的复杂关系，从而实现更准确的临床决策，并在各种实际数据集上证明了 HetMed 的优越性和实用性。

Nov, 2022

多模电子健康记录的自动融合提升医疗预测能力

我们提出了一种名为 AutoFM 的神经架构搜索（NAS）框架，用于自动搜索对多样输入模态和融合策略进行编码的最佳模型架构，并在真实世界的多模式 EHR 数据和预测任务上进行了彻底实验，结果表明我们的框架不仅在现有最先进的方法上实现了显著的性能改进，还有效地发现了有意义的网络架构。

Jan, 2024