基于知识驱动的子空间融合和梯度协调的多模态学习
基于 ResNet-152 和 SGCN, 结合多模态多任务相关学习 (MultiCoFusion) 的多模态融合框架可用于肿瘤的生存分析和癌症等级分类,基于 The Cancer Genome Atlas (TCGA) 的实验结果表明,MultiCoFusion 的表现优于传统的特征提取方法。
Jan, 2022
本文提出了一种解释性的、端到端的多模态融合策略 —— Pathomic Fusion,它基于组织学图像和基因组学(突变、CNV、RNA-Seq)特征,模型化跨模式的特征交互,并通过基于门控的注意机制控制每个表示的表现力,以提高生存结果预测的准确性,从而有助于其他医学问题的解决。
Dec, 2019
基于多模态融合模型,结合病理图像和基因组数据,本文提出一种适用于癌症生存分析的病理基因异质图模型(PGHG)。通过生物学先验知识,该模型实现了特征提取、生存预测和可解释性展示等功能,并在多个癌症数据集上证明了其性能优越性。
Apr, 2024
通过使用一种层次化注意结构,我们介绍了一种统一建模增强多模态学习(UMEML)框架,该框架整合了组织学图像和基因组学,以在显微镜级别和分子级别上实现对肿瘤的精确治疗,并通过利用两种模态的共享和互补特征有效地进行建模。
Jun, 2024
基于深度学习的计算病理学领域的研究表明,利用全切片图像(WSIs)客观预测癌症患者预后的效果显著。然而,目前大多数预后方法局限于组织病理学或基因组学,不可避免地降低了其准确预测患者预后的潜力。为了解决这些问题,我们提出了一种弱监督、基于注意机制的多模态学习框架 —— 互相引导的跨模态转换器(MGCT),可以利用组织学特征和基因组特征来建模肿瘤微环境内的基因型 - 表型相互作用。通过使用来自癌症基因组图谱(TCGA)的五种不同癌症类型的近 3600 个 Gigapixel WSIs 进行实验,广泛的实验结果一致表明 MGCT 优于现有的最先进方法(SOTA)。
Nov, 2023
G-HANet 是一种新颖的基于基因组知识提炼的超级关注网络,通过对 WSI 图像进行基因组数据重构,实现了来自组织病理学和基因组学角度的病人超级关注建模,以改善癌症预后。
Mar, 2024
本文提出了 Data and Knowledge Co-driving(D&K)模型,结合数据驱动和知识驱动的方法实现对组织病理学切片的诊断,经过实验验证,其在组织病理学次类型诊断方面取得了可信的高效性
Apr, 2023
一个新的端到端框架 FORESEE,通过挖掘多模态信息来稳健地预测患者生存情况,同时利用细胞水平、组织水平和肿瘤异质性水平的丰富语义特征,解决了多模态数据的缺失问题,并通过交叉尺度特征融合方法,提高了病理图像特征表征能力。
May, 2024
通过 MRI 多模态学习和跨模态指导,提出了一种用于 MRI 脑肿瘤分级的新方法,以准确识别肿瘤类型和等级,并选择精确的治疗计划。
Jan, 2024