FORESEE: 癌症生存鲁棒预测的多模态和多视图表示学习
基于 ResNet-152 和 SGCN, 结合多模态多任务相关学习 (MultiCoFusion) 的多模态融合框架可用于肿瘤的生存分析和癌症等级分类，基于 The Cancer Genome Atlas (TCGA) 的实验结果表明，MultiCoFusion 的表现优于传统的特征提取方法。
Jan, 2022
我们提出了一种名为 Two-stream Transformer-based Multimodal Fusion Network for survival prediction (TTMFN) 的新型框架，综合了病理图像和基因表达数据，通过多模态共同关注转换器模块和多头注意力池化方法，实现了对患者总体生存预测的最佳性能或竞争结果。
Nov, 2023
为了精确预测癌症患者的生存率，本文介绍了一个基于卷积掩码编码器的异构图注意力网络 SELECTOR，用于癌症患者的可靠多模态生存率预测。
Mar, 2024
提出了一种跨模态注意力多模态融合管道，用于整合非小细胞肺癌（NSCLC）患者生存预测的特定模态知识，相较于单一模态的组合方法，在实验中取得了 c - 指数为 0.6587 的结果，展示了从不同模态融合中融入特定知识的能力。
Aug, 2023
采用新技术对医学数据进行收集，如高分辨率组织病理学和高通量基因组测序，为多模态生物医学建模提供了支持。本文介绍了一种灵活的多模态融合架构 —— 混合早期融合注意力学习网络（HEALNet），能够有效处理训练和推断中缺失的模态，提供了最新的多模态基准，并在存在缺失模态的场景中获得卓越性能。
Nov, 2023
通过在高通量测序技术中整合病理图像与基因组信息，本论文提出了一种跨模态转换与对齐（CMTA）框架，探索内在的跨模态关联性并转移互补信息，从而显著提高病人全面存活分析的判别能力。
Sep, 2023
研究简述：为了在小数据集上避免过拟合，提出使用额外监督、临床预测和密集融合三种简单方法进行改进的多模态融合，以帮助优化。提出的方法可以应用于任何具有配对图像和非图像数据的分类任务，本研究在前列腺癌诊断方面进行了验证。
Apr, 2023
利用多模态数据，特别是医学实验的图像和时间序列数据，提出一种新的方法来改进临床应用中的多模态深度学习，在预测死亡率和表型分型等重要领域中取得了有效的结果，同时克服了噪声和不平衡数据集的挑战，并采用不确定性模型和注意力机制，提高了模型的性能和鲁棒性。
May, 2024
我们提出了一种融合 - 分叉学习框架，用于从多模态图像进行生存预测，并在融合编码器中使用混合并行交叉注意力块（HPCA）来融合多模态特征，并在分叉解码器中使用区域特定注意力门（RAG）块来筛选与病变区域相关的特征。我们的框架在头颈部 PET-CT 图像的生存预测中得到了验证，并在公共数据集上的实验结果表明，我们的网络（XSurv）优于现有的生存预测方法。
Jul, 2023