整合多模态存活方法、千亿像素组织学全幻灯片图像和转录组学，通过凝聚形态学原型和生物途径原型对 WSI 和转录组简化，再利用聚合网络（Transformer 或最优运输交叉对齐）处理得到的多模态令牌，能在较小且固定的令牌数量下实现高性能预测肿瘤患者预后、分层，同时实现较少的计算量并具备新的可解释性分析。

Jun, 2024

提出了一种多模态变压器模型 (PathOmics)，将病理学和基因组学洞察力结合到结直肠相关癌症存活预测中，通过无监督预训练来捕捉吉格像素全幅图像和各种基因组数据之间的固有互动，并且在预训练的多模态知识聚合后，我们的任务特定模型微调可以扩大适用于多模态和单模态数据（如仅图像或基因组）的数据效用范围，验证结果表明我们的方法在 TCGA 结直肠癌队列上是具有竞争力的并且胜过现有研究。

Jul, 2023

基于多模态融合模型，结合病理图像和基因组数据，本文提出一种适用于癌症生存分析的病理基因异质图模型（PGHG）。通过生物学先验知识，该模型实现了特征提取、生存预测和可解释性展示等功能，并在多个癌症数据集上证明了其性能优越性。

Apr, 2024

基于深度学习的计算病理学领域的研究表明，利用全切片图像（WSIs）客观预测癌症患者预后的效果显著。然而，目前大多数预后方法局限于组织病理学或基因组学，不可避免地降低了其准确预测患者预后的潜力。为了解决这些问题，我们提出了一种弱监督、基于注意机制的多模态学习框架 —— 互相引导的跨模态转换器（MGCT），可以利用组织学特征和基因组特征来建模肿瘤微环境内的基因型 - 表型相互作用。通过使用来自癌症基因组图谱（TCGA）的五种不同癌症类型的近 3600 个 Gigapixel WSIs 进行实验，广泛的实验结果一致表明 MGCT 优于现有的最先进方法（SOTA）。

Nov, 2023

利用病理图像和基因组学特征进行生存预测在癌症分析和预后中变得越来越重要。本文提出了一种多模态跨任务交互 (MCTI) 框架，用于探索亚型分类和生存分析任务之间的内在关联。通过利用亚型分类任务来捕捉病理图像中与肿瘤微环境相关的特征，在基因组特征提取中应用多头注意机制来自适应地执行基因分组，获得与任务相关的基因嵌入。通过病理图像和基因组数据的联合表示，我们进一步引入了一种运输引导注意 (TGA) 模块，利用最优传输理论来模拟亚型分类和生存分析任务之间的关联，有效地转移潜在信息。大量实验证明了我们方法的优越性，MCTI 在三个公共基准测试中表现优于现有的最先进框架。

Jun, 2024

本文通过训练多种自监督模型，发现采用基于 DINO 知识蒸馏的 Vision Transformers 模型能够实现对组织形态学特征进行有效解释，在多个弱监督和补丁级任务上进行了验证。

Mar, 2022

使用自监督学习和基因表达谱进行多模态预训练，Tangle 可以在组织学图像中构建幻灯片嵌入，并且在性能上优于有监督和无监督基线模型。

May, 2024

G-HANet 是一种新颖的基于基因组知识提炼的超级关注网络，通过对 WSI 图像进行基因组数据重构，实现了来自组织病理学和基因组学角度的病人超级关注建模，以改善癌症预后。

Mar, 2024

通过多模态多任务多实例学习的 PathM3 框架，有效地将组织切片图像与诊断说明对齐，从而在组织病理学图像分类和生成诊断说明任务上提高了分类准确性和生成效果。

Mar, 2024

该研究提出了一种基因诱导的多模态预训练（GiMP）框架，通过整合基因组学和全面切片图像（WSIs）进行分类任务，处理了多模态图像组合分类的主要挑战，并实现了 99.47% 的准确率。

Sep, 2023