本文提出了一种解释性的、端到端的多模态融合策略—— Pathomic Fusion，它基于组织学图像和基因组学（突变、CNV、RNA-Seq）特征，模型化跨模式的特征交互，并通过基于门控的注意机制控制每个表示的表现力，以提高生存结果预测的准确性，从而有助于其他医学问题的解决。

Dec, 2019

基于 ResNet-152 和 SGCN, 结合多模态多任务相关学习 (MultiCoFusion) 的多模态融合框架可用于肿瘤的生存分析和癌症等级分类，基于 The Cancer Genome Atlas (TCGA) 的实验结果表明，MultiCoFusion 的表现优于传统的特征提取方法。

Jan, 2022

我们提出了一种名为Two-stream Transformer-based Multimodal Fusion Network for survival prediction (TTMFN)的新型框架，综合了病理图像和基因表达数据，通过多模态共同关注转换器模块和多头注意力池化方法，实现了对患者总体生存预测的最佳性能或竞争结果。

Nov, 2023

基于深度学习的计算病理学领域的研究表明，利用全切片图像（WSIs）客观预测癌症患者预后的效果显著。然而，目前大多数预后方法局限于组织病理学或基因组学，不可避免地降低了其准确预测患者预后的潜力。为了解决这些问题，我们提出了一种弱监督、基于注意机制的多模态学习框架——互相引导的跨模态转换器（MGCT），可以利用组织学特征和基因组特征来建模肿瘤微环境内的基因型-表型相互作用。通过使用来自癌症基因组图谱（TCGA）的五种不同癌症类型的近3600个Gigapixel WSIs进行实验，广泛的实验结果一致表明MGCT优于现有的最先进方法（SOTA）。

Nov, 2023

为了精确预测癌症患者的生存率，本文介绍了一个基于卷积掩码编码器的异构图注意力网络 SELECTOR，用于癌症患者的可靠多模态生存率预测。

Mar, 2024

一个新的端到端框架FORESEE，通过挖掘多模态信息来稳健地预测患者生存情况，同时利用细胞水平、组织水平和肿瘤异质性水平的丰富语义特征，解决了多模态数据的缺失问题，并通过交叉尺度特征融合方法，提高了病理图像特征表征能力。

May, 2024

用于患者生存预测的基于多模态数据的图神经网络框架PARADIGM优于其他模型，通过整合多种数据视角，提供全面的疾病认知。

Jun, 2024

利用Whole Slide Images和基因组数据进行综合决策的生存分析面临着两个主要挑战：显著的异质性和两种模态之间的复杂相互作用。为解决这些问题，本文提出了一种偏向逐步编码的方法，通过多次迭代逐步减少跨模态差异并促进互补交互；此外，还提出了一种动态选择专家的多模态专家混合层来适应特定情况下的模型。广泛的实验结果表明我们的方法在各种数据集上表现出优越性能。

Jun, 2024

本研究针对计算机辅助癌症生存风险预测中的弱监督序列回归挑战，提出了一种多模态对象级对比学习的新训练方法。通过构建基于生存风险关系的对比学习对，并结合跨模态对比，最终开发出一种先进的生存风险预测器，显著提升了在两个公共多模态癌症数据集上的预测性能。

Sep, 2024

本研究解决了现有肺癌生存预测方法在多模态数据整合方面的不足。论文提出了一种新颖的方法，通过整合CT、PET扫描和基因组数据，构建一个鲁棒的生存结果预测模型，并利用跨患者模块增强相似患者的嵌入对齐。实验结果表明，该方法在生存预测方面超越了现有最先进的技术，具有重要的临床应用价值。

Sep, 2024