Dec, 2019

Pathomic Fusion：融合组织学和基因组特征的癌症诊断和预后一体化框架

PDF
TL;DR本文提出了一种解释性的、端到端的多模态融合策略 —— Pathomic Fusion，它基于组织学图像和基因组学（突变、CNV、RNA-Seq）特征，模型化跨模式的特征交互，并通过基于门控的注意机制控制每个表示的表现力，以提高生存结果预测的准确性，从而有助于其他医学问题的解决。
pathomic fusionmultimodal fusionhistology imagegenomic featuressurvival outcome prediction
发现论文，激发创造
  • 通过生物信息学的跨模态图学习，实现病理基因融合以用于生存分析

    基于多模态融合模型，结合病理图像和基因组数据，本文提出一种适用于癌症生存分析的病理基因异质图模型（PGHG）。通过生物学先验知识，该模型实现了特征提取、生存预测和可解释性展示等功能，并在多个癌症数据集上证明了其性能优越性。

    Apr, 2024

  • MGCT: 基于综合组织病理学 - 基因组特征的生存结局预测的互相引导的跨模态变换器

    基于深度学习的计算病理学领域的研究表明，利用全切片图像（WSIs）客观预测癌症患者预后的效果显著。然而，目前大多数预后方法局限于组织病理学或基因组学，不可避免地降低了其准确预测患者预后的潜力。为了解决这些问题，我们提出了一种弱监督、基于注意机制的多模态学习框架 —— 互相引导的跨模态转换器（MGCT），可以利用组织学特征和基因组特征来建模肿瘤微环境内的基因型 - 表型相互作用。通过使用来自癌症基因组图谱（TCGA）的五种不同癌症类型的近 3600 个 Gigapixel WSIs 进行实验，广泛的实验结果一致表明 MGCT 优于现有的最先进方法（SOTA）。

    Nov, 2023

  • 基于多任务相关学习的多模态融合框架在癌症预测中的应用

    基于 ResNet-152 和 SGCN, 结合多模态多任务相关学习 (MultiCoFusion) 的多模态融合框架可用于肿瘤的生存分析和癌症等级分类，基于 The Cancer Genome Atlas (TCGA) 的实验结果表明，MultiCoFusion 的表现优于传统的特征提取方法。

    Jan, 2022

  • 基于知识驱动的子空间融合和梯度协调的多模态学习

    通过分解组织学图像和基因组学的特征子空间，反映不同的肿瘤和微环境特征，我们提出了一种生物解释性和稳健的多模态学习框架，以高效地整合组织学图像和基因组学，从而解决了肿瘤生态系统中肿瘤和微环境共同增加恶性的内在复杂性问题。

    Jun, 2024

  • 组织基因知识蒸馏用于癌症预后从组织病理学全扫描图像

    G-HANet 是一种新颖的基于基因组知识提炼的超级关注网络，通过对 WSI 图像进行基因组数据重构，实现了来自组织病理学和基因组学角度的病人超级关注建模，以改善癌症预后。

    Mar, 2024

  • Path-GPTOmic: 一个平衡的多模态学习框架用于生存结局预测

    通过多模态框架和生物学洞察来提高癌症生存预测准确性。

    Mar, 2024

  • 病理与基因组学多模态变压器用于生存情况预测

    提出了一种多模态变压器模型 (PathOmics)，将病理学和基因组学洞察力结合到结直肠相关癌症存活预测中，通过无监督预训练来捕捉吉格像素全幅图像和各种基因组数据之间的固有互动，并且在预训练的多模态知识聚合后，我们的任务特定模型微调可以扩大适用于多模态和单模态数据（如仅图像或基因组）的数据效用范围，验证结果表明我们的方法在 TCGA 结直肠癌队列上是具有竞争力的并且胜过现有研究。

    Jul, 2023

  • 统一建模增强的精准神经肿瘤多模态学习

    通过使用一种层次化注意结构，我们介绍了一种统一建模增强多模态学习（UMEML）框架，该框架整合了组织学图像和基因组学，以在显微镜级别和分子级别上实现对肿瘤的精确治疗，并通过利用两种模态的共享和互补特征有效地进行建模。

    Jun, 2024

  • 癌症生存预测的多模态原型

    整合多模态存活方法、千亿像素组织学全幻灯片图像和转录组学，通过凝聚形态学原型和生物途径原型对 WSI 和转录组简化，再利用聚合网络（Transformer 或最优运输交叉对齐）处理得到的多模态令牌，能在较小且固定的令牌数量下实现高性能预测肿瘤患者预后、分层，同时实现较少的计算量并具备新的可解释性分析。

    Jun, 2024

  • 基于深度学习的全切片图像分割与分析通用框架

    本文章基于深度学习方法提出了一种可用于组织病理学图像分析的框架，并在癌症诊断、预后和图像分析等方面取得了良好的效果。

    Jan, 2020