基于深度学习的计算病理学领域的研究表明，利用全切片图像（WSIs）客观预测癌症患者预后的效果显著。然而，目前大多数预后方法局限于组织病理学或基因组学，不可避免地降低了其准确预测患者预后的潜力。为了解决这些问题，我们提出了一种弱监督、基于注意机制的多模态学习框架 —— 互相引导的跨模态转换器（MGCT），可以利用组织学特征和基因组特征来建模肿瘤微环境内的基因型 - 表型相互作用。通过使用来自癌症基因组图谱（TCGA）的五种不同癌症类型的近 3600 个 Gigapixel WSIs 进行实验，广泛的实验结果一致表明 MGCT 优于现有的最先进方法（SOTA）。

Nov, 2023

该研究提出了一种基因诱导的多模态预训练（GiMP）框架，通过整合基因组学和全面切片图像（WSIs）进行分类任务，处理了多模态图像组合分类的主要挑战，并实现了 99.47% 的准确率。

Sep, 2023

基于多模态融合模型，结合病理图像和基因组数据，本文提出一种适用于癌症生存分析的病理基因异质图模型（PGHG）。通过生物学先验知识，该模型实现了特征提取、生存预测和可解释性展示等功能，并在多个癌症数据集上证明了其性能优越性。

Apr, 2024

提出了一种多模态预训练框架，通过整合基因组学和医学图像数据，在肿瘤分割任务中优于相关方法。

Jun, 2024

提出一种基于相互 Transformer 学习的全无监督 WSI 分类算法，并在公开数据集上进行了广泛实验，证明了该方法在 WSI 分类和癌症亚型分类方面的优越性能。

May, 2023

该研究设计了一种新的多任务学习框架，结合了图转换器、任务感知知识注入和领域知识驱动的图池化模块，用于病理学家在对多个诊断任务进行实际临床诊断时的 WSI 分析。该框架的实验结果表明，相较于基于单任务的方法以及现有的技术，能够有效的提升诊断的准确率和鲁棒性。

Feb, 2023

整合多模态存活方法、千亿像素组织学全幻灯片图像和转录组学，通过凝聚形态学原型和生物途径原型对 WSI 和转录组简化，再利用聚合网络（Transformer 或最优运输交叉对齐）处理得到的多模态令牌，能在较小且固定的令牌数量下实现高性能预测肿瘤患者预后、分层，同时实现较少的计算量并具备新的可解释性分析。

Jun, 2024

本研究提出了一种基于非监督聚类的多实例学习方法，将其应用于三种癌症（CRC、LUAD 和 HNSCC）的 WSI 深度学习模型开发，使其能够更好地预测基因突变。结果显示，该方法可以识别预测性图像块，排除缺乏预测信息的图像块，并改善所有三种癌症类型中基因突变的预测效果。此外，我们的方法也能更好地识别预测基因突变的空间区域，证明 WSI 中的肿瘤区域不一定是最好的预测区域。

Mar, 2022

使用多模态机器学习方法，结合罕见遗传病的面部特征和人工智能算法，可以缩小罕见疾病的基因诊断范围并帮助基因组 / 外显子测序数据重解释。

Dec, 2023

通过引入整合图转换器框架，本研究在数字病理学中用于弱监督组织病理学全幻灯片图像分类的多实例学习策略可以同时捕捉上下文感知的关系特征和全局图像表示，实验证明该方法在 WSI 数据集上具有优越性能，准确率提高 1.0%-2.6%，在 AUROC 上提高 0.7%-1.6%。

Mar, 2024