基于多模态融合模型，结合病理图像和基因组数据，本文提出一种适用于癌症生存分析的病理基因异质图模型（PGHG）。通过生物学先验知识，该模型实现了特征提取、生存预测和可解释性展示等功能，并在多个癌症数据集上证明了其性能优越性。

Apr, 2024

基于深度学习的计算病理学领域的研究表明，利用全切片图像（WSIs）客观预测癌症患者预后的效果显著。然而，目前大多数预后方法局限于组织病理学或基因组学，不可避免地降低了其准确预测患者预后的潜力。为了解决这些问题，我们提出了一种弱监督、基于注意机制的多模态学习框架 —— 互相引导的跨模态转换器（MGCT），可以利用组织学特征和基因组特征来建模肿瘤微环境内的基因型 - 表型相互作用。通过使用来自癌症基因组图谱（TCGA）的五种不同癌症类型的近 3600 个 Gigapixel WSIs 进行实验，广泛的实验结果一致表明 MGCT 优于现有的最先进方法（SOTA）。

Nov, 2023

本文提出了一种解释性的、端到端的多模态融合策略 —— Pathomic Fusion，它基于组织学图像和基因组学（突变、CNV、RNA-Seq）特征，模型化跨模式的特征交互，并通过基于门控的注意机制控制每个表示的表现力，以提高生存结果预测的准确性，从而有助于其他医学问题的解决。

Dec, 2019

整合多模态存活方法、千亿像素组织学全幻灯片图像和转录组学，通过凝聚形态学原型和生物途径原型对 WSI 和转录组简化，再利用聚合网络（Transformer 或最优运输交叉对齐）处理得到的多模态令牌，能在较小且固定的令牌数量下实现高性能预测肿瘤患者预后、分层，同时实现较少的计算量并具备新的可解释性分析。

Jun, 2024

该研究提出了一种基因诱导的多模态预训练（GiMP）框架，通过整合基因组学和全面切片图像（WSIs）进行分类任务，处理了多模态图像组合分类的主要挑战，并实现了 99.47% 的准确率。

Sep, 2023

通过本研究，我们首次引入 HistGen，一个采用多实例学习的框架用于组织病理学报告生成，并提供了用于评估的基准数据集。该模型通过两个精心设计的模块来提高报告生成的效率，从而加强了临床效果。实验结果表明该模型在报告生成方面表现优于现有最先进模型，并且在癌症亚型和生存分析任务上的微调表明具有很强的迁移学习能力。

Mar, 2024

通过分解组织学图像和基因组学的特征子空间，反映不同的肿瘤和微环境特征，我们提出了一种生物解释性和稳健的多模态学习框架，以高效地整合组织学图像和基因组学，从而解决了肿瘤生态系统中肿瘤和微环境共同增加恶性的内在复杂性问题。

Jun, 2024

本研究提出了一种基于生物通路令牌和组织学图像令牌的转换器模型，结合了 WSI 和大量转录组学数据，具有作为细胞功能解释单位的前瞻性，并在肿瘤患者生存预测方面取得了最佳效果。

Apr, 2023

通过多视图图对比学习和 HSIC 约束正规化方法构建的空间转录组学 (ST) 框架 (ST-GCHB)，以学习共享表示来考虑空间依赖性，从而根据查询的图像点来估计相应的基因表达量。

Jun, 2024

本论文提出了一种新的模型结构，将基于补丁的分类模型和整个切片比例的分割模型相结合，以提高自动病理诊断的预测性能，并通过优化方法，使模型部分地进行端到端学习，应用于 WSI 的肿瘤 / 正常预测，与传统基于补丁的方法相比，分类的性能得到了提高。

Oct, 2019