基于 ResNet-152 和 SGCN, 结合多模态多任务相关学习 (MultiCoFusion) 的多模态融合框架可用于肿瘤的生存分析和癌症等级分类，基于 The Cancer Genome Atlas (TCGA) 的实验结果表明，MultiCoFusion 的表现优于传统的特征提取方法。

Jan, 2022

我们提出了一种名为 Two-stream Transformer-based Multimodal Fusion Network for survival prediction (TTMFN) 的新型框架，综合了病理图像和基因表达数据，通过多模态共同关注转换器模块和多头注意力池化方法，实现了对患者总体生存预测的最佳性能或竞争结果。

Nov, 2023

为了精确预测癌症患者的生存率，本文介绍了一个基于卷积掩码编码器的异构图注意力网络 SELECTOR，用于癌症患者的可靠多模态生存率预测。

Mar, 2024

提出了一种跨模态注意力多模态融合管道，用于整合非小细胞肺癌（NSCLC）患者生存预测的特定模态知识，相较于单一模态的组合方法，在实验中取得了 c - 指数为 0.6587 的结果，展示了从不同模态融合中融入特定知识的能力。

Aug, 2023

采用新技术对医学数据进行收集，如高分辨率组织病理学和高通量基因组测序，为多模态生物医学建模提供了支持。本文介绍了一种灵活的多模态融合架构 —— 混合早期融合注意力学习网络（HEALNet），能够有效处理训练和推断中缺失的模态，提供了最新的多模态基准，并在存在缺失模态的场景中获得卓越性能。

Nov, 2023

通过在高通量测序技术中整合病理图像与基因组信息，本论文提出了一种跨模态转换与对齐（CMTA）框架，探索内在的跨模态关联性并转移互补信息，从而显著提高病人全面存活分析的判别能力。

Sep, 2023

在医疗和健康领域中，机器学习的应用导致了大量诊断和预测模型的创建。然而，尽管这些模型取得了成功，但当前的方法通常仅使用来自单一模态的数据进行预测，而临床医生的决策则采用来自多个来源的各种信息。本文介绍了一种多模态框架 AutoPrognosis-M，它能够使用自动化的机器学习将结构化临床数据和医学影像相结合。AutoPrognosis-M 包括 17 个影像模型，包括卷积神经网络和视觉变换器，以及三种不同的多模态融合策略。通过使用一个多模态皮肤病变数据集进行说明性应用，我们突出了多模态机器学习的重要性以及使用集成学习结合多种融合策略的优势。我们已经将我们的框架开源作为一个工具供社区使用，并希望它能加快医疗领域中多模态机器学习的应用并推动进一步的创新。

Jul, 2024

研究简述：为了在小数据集上避免过拟合，提出使用额外监督、临床预测和密集融合三种简单方法进行改进的多模态融合，以帮助优化。提出的方法可以应用于任何具有配对图像和非图像数据的分类任务，本研究在前列腺癌诊断方面进行了验证。

Apr, 2023

利用多模态数据，特别是医学实验的图像和时间序列数据，提出一种新的方法来改进临床应用中的多模态深度学习，在预测死亡率和表型分型等重要领域中取得了有效的结果，同时克服了噪声和不平衡数据集的挑战，并采用不确定性模型和注意力机制，提高了模型的性能和鲁棒性。

May, 2024

我们提出了一种融合 - 分叉学习框架，用于从多模态图像进行生存预测，并在融合编码器中使用混合并行交叉注意力块（HPCA）来融合多模态特征，并在分叉解码器中使用区域特定注意力门（RAG）块来筛选与病变区域相关的特征。我们的框架在头颈部 PET-CT 图像的生存预测中得到了验证，并在公共数据集上的实验结果表明，我们的网络（XSurv）优于现有的生存预测方法。

Jul, 2023