Sep, 2023

基因诱导的多模态预训练用于图像组学分类

PDF
TL;DR该研究提出了一种基因诱导的多模态预训练（GiMP）框架，通过整合基因组学和全面切片图像（WSIs）进行分类任务，处理了多模态图像组合分类的主要挑战，并实现了 99.47% 的准确率。
tumor micro-environmentgenomic assaysgene-induced multimodal pre-trainingwhole slide images (wsis)multi-modality image-omic classification
发现论文，激发创造
  • MGI: 基因组和医学影像的多模态对比预训练

    提出了一种多模态预训练框架，通过整合基因组学和医学图像数据，在肿瘤分割任务中优于相关方法。

    Jun, 2024

  • 癌症生存预测的多模态原型

    整合多模态存活方法、千亿像素组织学全幻灯片图像和转录组学，通过凝聚形态学原型和生物途径原型对 WSI 和转录组简化，再利用聚合网络（Transformer 或最优运输交叉对齐）处理得到的多模态令牌，能在较小且固定的令牌数量下实现高性能预测肿瘤患者预后、分层，同时实现较少的计算量并具备新的可解释性分析。

    Jun, 2024

  • MGCT: 基于综合组织病理学 - 基因组特征的生存结局预测的互相引导的跨模态变换器

    基于深度学习的计算病理学领域的研究表明，利用全切片图像（WSIs）客观预测癌症患者预后的效果显著。然而，目前大多数预后方法局限于组织病理学或基因组学，不可避免地降低了其准确预测患者预后的潜力。为了解决这些问题，我们提出了一种弱监督、基于注意机制的多模态学习框架 —— 互相引导的跨模态转换器（MGCT），可以利用组织学特征和基因组特征来建模肿瘤微环境内的基因型 - 表型相互作用。通过使用来自癌症基因组图谱（TCGA）的五种不同癌症类型的近 3600 个 Gigapixel WSIs 进行实验，广泛的实验结果一致表明 MGCT 优于现有的最先进方法（SOTA）。

    Nov, 2023

  • 病理与基因组学多模态变压器用于生存情况预测

    提出了一种多模态变压器模型 (PathOmics)，将病理学和基因组学洞察力结合到结直肠相关癌症存活预测中，通过无监督预训练来捕捉吉格像素全幅图像和各种基因组数据之间的固有互动，并且在预训练的多模态知识聚合后，我们的任务特定模型微调可以扩大适用于多模态和单模态数据（如仅图像或基因组）的数据效用范围，验证结果表明我们的方法在 TCGA 结直肠癌队列上是具有竞争力的并且胜过现有研究。

    Jul, 2023

  • 组织基因知识蒸馏用于癌症预后从组织病理学全扫描图像

    G-HANet 是一种新颖的基于基因组知识提炼的超级关注网络，通过对 WSI 图像进行基因组数据重构，实现了来自组织病理学和基因组学角度的病人超级关注建模，以改善癌症预后。

    Mar, 2024

  • 组织病理学全幻灯片图像的集成图形转换框架的表示和分类

    通过引入整合图转换器框架，本研究在数字病理学中用于弱监督组织病理学全幻灯片图像分类的多实例学习策略可以同时捕捉上下文感知的关系特征和全局图像表示，实验证明该方法在 WSI 数据集上具有优越性能，准确率提高 1.0%-2.6%，在 AUROC 上提高 0.7%-1.6%。

    Mar, 2024

  • 领域特定预训练提高全切片图像分类的置信度

    该论文研究了域特定预训练模型对神经胶质母细胞瘤分类的影响和应用性，通过考虑目前最先进的多实例学习模型，CLAM 和 TransMIL，并评估模型的置信度和预测性能，表明域特定预训练有助于提高模型置信度并实现 WSI 基础的神经胶质母细胞瘤亚型分类的最新最佳性能。

    Feb, 2023

  • 通过生物医学 - 语言知识增强的多标签分类预测基因突变从全切片图像中

    从全幻灯图像中预测基因突变对于癌症诊断至关重要。本研究设计了一种生物知识增强的 PathGenomic 多标签 Transformer，通过构建基因优先级和基因突变预测模块，提高了预测性能，实验证明该方法优于现有最先进技术。

    Jun, 2024

  • 建模生物通路与组织学之间的密集多模态交互以进行生存预测

    本研究提出了一种基于生物通路令牌和组织学图像令牌的转换器模型，结合了 WSI 和大量转录组学数据，具有作为细胞功能解释单位的前瞻性，并在肿瘤患者生存预测方面取得了最佳效果。

    Apr, 2023

  • 低标签、高数据情境下的多组学嵌入自监督学习

    利用对比式自监督学习训练预训练的 FT-Transformer 模型，从 miRNA、mRNA 或 RPPA 表达数据中预测癌症类型。当标记样本稀缺而未标记样本众多时，相比标准的表格数据基准（XGBoost 和 CatBoost），该模型表现更好。我们还探讨了多模态模型的自监督学习，提出了一种后融合模型，其中每个组学通过自己的子网络进行处理，子网络输出求平均并传递给预训练或下游目标函数。实验证明多模态预训练可以提高单一组学的预测效果，并且对于未标记的多模态样本丰富而标记的单一组学样本稀缺的数据集，这是有用的。另外，我们还展示了分别对每个组学特定模块进行预训练的高效性。这使得该模型可以应用于大量未标记数据可用于每个组学的各种情境，但只有少数带标签样本的情况。

    Nov, 2023