Jan, 2022

基于多任务相关学习的多模态融合框架在癌症预测中的应用

PDF
TL;DR基于 ResNet-152 和 SGCN, 结合多模态多任务相关学习 (MultiCoFusion) 的多模态融合框架可用于肿瘤的生存分析和癌症等级分类，基于 The Cancer Genome Atlas (TCGA) 的实验结果表明，MultiCoFusion 的表现优于传统的特征提取方法。
cancermulti-modal fusionmulti-task correlation learningresnet-152glioma
发现论文，激发创造
  • 基于知识驱动的子空间融合和梯度协调的多模态学习

    通过分解组织学图像和基因组学的特征子空间，反映不同的肿瘤和微环境特征，我们提出了一种生物解释性和稳健的多模态学习框架，以高效地整合组织学图像和基因组学，从而解决了肿瘤生态系统中肿瘤和微环境共同增加恶性的内在复杂性问题。

    Jun, 2024

  • Pathomic Fusion：融合组织学和基因组特征的癌症诊断和预后一体化框架

    本文提出了一种解释性的、端到端的多模态融合策略 —— Pathomic Fusion，它基于组织学图像和基因组学（突变、CNV、RNA-Seq）特征，模型化跨模式的特征交互，并通过基于门控的注意机制控制每个表示的表现力，以提高生存结果预测的准确性，从而有助于其他医学问题的解决。

    Dec, 2019

  • 跨模态注意力多模态融合用于非小细胞肺癌（NSCLC）患者生存预测

    提出了一种跨模态注意力多模态融合管道，用于整合非小细胞肺癌（NSCLC）患者生存预测的特定模态知识，相较于单一模态的组合方法，在实验中取得了 c - 指数为 0.6587 的结果，展示了从不同模态融合中融入特定知识的能力。

    Aug, 2023

  • FORESEE: 癌症生存鲁棒预测的多模态和多视图表示学习

    一个新的端到端框架 FORESEE，通过挖掘多模态信息来稳健地预测患者生存情况，同时利用细胞水平、组织水平和肿瘤异质性水平的丰富语义特征，解决了多模态数据的缺失问题，并通过交叉尺度特征融合方法，提高了病理图像特征表征能力。

    May, 2024

  • 基于多模态卷积神经网络的医学图像分割：图像融合方案研究

    本文提出了在监督医学图像分析中进行图像融合方案的概念架构，实现了基于卷积神经网络的三种图像融合方案，并将其结合成单个框架，用于同时分析多模式图像，检测软组织肉瘤的存在，并发现在特征级别融合的情况下，性能最好，但当任何图像模式存在大误差时，其鲁棒性会降低。

    Oct, 2017

  • TTMFN: 基于双流变压器的多模态融合网络用于生存预测

    我们提出了一种名为 Two-stream Transformer-based Multimodal Fusion Network for survival prediction (TTMFN) 的新型框架，综合了病理图像和基因表达数据，通过多模态共同关注转换器模块和多头注意力池化方法，实现了对患者总体生存预测的最佳性能或竞争结果。

    Nov, 2023

  • 通过生物信息学的跨模态图学习，实现病理基因融合以用于生存分析

    基于多模态融合模型，结合病理图像和基因组数据，本文提出一种适用于癌症生存分析的病理基因异质图模型（PGHG）。通过生物学先验知识，该模型实现了特征提取、生存预测和可解释性展示等功能，并在多个癌症数据集上证明了其性能优越性。

    Apr, 2024

  • Path-GPTOmic: 一个平衡的多模态学习框架用于生存结局预测

    通过多模态框架和生物学洞察来提高癌症生存预测准确性。

    Mar, 2024

  • 小数据集的辅助监督改进多模态融合

    研究简述：为了在小数据集上避免过拟合，提出使用额外监督、临床预测和密集融合三种简单方法进行改进的多模态融合，以帮助优化。提出的方法可以应用于任何具有配对图像和非图像数据的分类任务，本研究在前列腺癌诊断方面进行了验证。

    Apr, 2023

  • MaxCorrMGNN：用于广义多模态融合医学数据的多图神经网络框架进行结果预测

    本文提出了一种称为 MaxCorr MGNN 的创新融合方法，旨在通过 Hirschfeld-Gebelein-Renyi 最大相关性嵌入来建模跨患者内部和之间的非线性模式相关性，从而得出一个多层图模型，从而有效地预测结局。通过设计一种广义的多层图神经网络（MGNN），实现患者模式图的功能驱动推理和端到端的信息传递。我们在肺结核数据集上进行了实验，并始终优于几种最先进的神经网络，基于图的，传统的融合技术。

    Jul, 2023