利用病理图像和基因组学特征进行生存预测在癌症分析和预后中变得越来越重要。本文提出了一种多模态跨任务交互 (MCTI) 框架，用于探索亚型分类和生存分析任务之间的内在关联。通过利用亚型分类任务来捕捉病理图像中与肿瘤微环境相关的特征，在基因组特征提取中应用多头注意机制来自适应地执行基因分组，获得与任务相关的基因嵌入。通过病理图像和基因组数据的联合表示，我们进一步引入了一种运输引导注意 (TGA) 模块，利用最优传输理论来模拟亚型分类和生存分析任务之间的关联，有效地转移潜在信息。大量实验证明了我们方法的优越性，MCTI 在三个公共基准测试中表现优于现有的最先进框架。

Jun, 2024

整合多模态存活方法、千亿像素组织学全幻灯片图像和转录组学，通过凝聚形态学原型和生物途径原型对 WSI 和转录组简化，再利用聚合网络（Transformer 或最优运输交叉对齐）处理得到的多模态令牌，能在较小且固定的令牌数量下实现高性能预测肿瘤患者预后、分层，同时实现较少的计算量并具备新的可解释性分析。

Jun, 2024

一个新的端到端框架 FORESEE，通过挖掘多模态信息来稳健地预测患者生存情况，同时利用细胞水平、组织水平和肿瘤异质性水平的丰富语义特征，解决了多模态数据的缺失问题，并通过交叉尺度特征融合方法，提高了病理图像特征表征能力。

May, 2024

本研究提出了一种基于生物通路令牌和组织学图像令牌的转换器模型，结合了 WSI 和大量转录组学数据，具有作为细胞功能解释单位的前瞻性，并在肿瘤患者生存预测方面取得了最佳效果。

Apr, 2023

提出了一种多模态变压器模型 (PathOmics)，将病理学和基因组学洞察力结合到结直肠相关癌症存活预测中，通过无监督预训练来捕捉吉格像素全幅图像和各种基因组数据之间的固有互动，并且在预训练的多模态知识聚合后，我们的任务特定模型微调可以扩大适用于多模态和单模态数据（如仅图像或基因组）的数据效用范围，验证结果表明我们的方法在 TCGA 结直肠癌队列上是具有竞争力的并且胜过现有研究。

Jul, 2023

通过多模态框架和生物学洞察来提高癌症生存预测准确性。

Mar, 2024

在人工智能领域，深度多模态语义理解已经引起了越来越多的关注，挑战主要集中在收集和标注高质量的多模态数据，突显了几次学习的重要性。本文针对这一背景下的两个关键任务：少样本多模态讽刺检测（MSD）和多模态情感分析（MSA），提出了一种基于统一视觉语言模型（VLM）的创新多模态软提示框架：MoPE-BAF（Mixture-of-Prompt-Experts with Block-Aware Prompt Fusion）。我们设计了三个软提示专家：文本提示和图像提示，以提取模态特定特征，丰富单模态表示；同时，提出了多模态交互的统一提示。此外，我们将 Transformer 层重组为多个块，并在相邻块之间引入跨模态提示注意力，以平稳实现从单模态表示到多模态融合的过渡。在少样本设置下的 MSD 和 MSA 数据集上，我们提出的模型不仅仅在参数（150M）上超越了 8.2B 模型 InstructBLIP，而且在 VLMs 或任务特定方法中也大大优于其他广泛使用的提示方法。

Mar, 2024

基于多模态融合模型，结合病理图像和基因组数据，本文提出一种适用于癌症生存分析的病理基因异质图模型（PGHG）。通过生物学先验知识，该模型实现了特征提取、生存预测和可解释性展示等功能，并在多个癌症数据集上证明了其性能优越性。

Apr, 2024

通过混合专家框架和创新的门控函数，本研究介绍了 FuseMoE 模型，该模型可以有效地处理多模态数据、缺失模态以及时间上的不规则和稀疏采样数据，从而改善模型预测性能。通过临床风险预测任务的验证，证实了 FuseMoE 在实际应用中的实用性。

Feb, 2024

通过在高通量测序技术中整合病理图像与基因组信息，本论文提出了一种跨模态转换与对齐（CMTA）框架，探索内在的跨模态关联性并转移互补信息，从而显著提高病人全面存活分析的判别能力。

Sep, 2023