Nov, 2023

TTMFN: 基于双流变压器的多模态融合网络用于生存预测

PDF
TL;DR我们提出了一种名为 Two-stream Transformer-based Multimodal Fusion Network for survival prediction (TTMFN) 的新型框架，综合了病理图像和基因表达数据，通过多模态共同关注转换器模块和多头注意力池化方法，实现了对患者总体生存预测的最佳性能或竞争结果。
survival predictionmultimodal datadeep learning-based approachespathological imagesgene expression data
发现论文，激发创造
  • FORESEE: 癌症生存鲁棒预测的多模态和多视图表示学习

    一个新的端到端框架 FORESEE，通过挖掘多模态信息来稳健地预测患者生存情况，同时利用细胞水平、组织水平和肿瘤异质性水平的丰富语义特征，解决了多模态数据的缺失问题，并通过交叉尺度特征融合方法，提高了病理图像特征表征能力。

    May, 2024

  • 基于多任务相关学习的多模态融合框架在癌症预测中的应用

    基于 ResNet-152 和 SGCN, 结合多模态多任务相关学习 (MultiCoFusion) 的多模态融合框架可用于肿瘤的生存分析和癌症等级分类，基于 The Cancer Genome Atlas (TCGA) 的实验结果表明，MultiCoFusion 的表现优于传统的特征提取方法。

    Jan, 2022

  • 病理与基因组学多模态变压器用于生存情况预测

    提出了一种多模态变压器模型 (PathOmics)，将病理学和基因组学洞察力结合到结直肠相关癌症存活预测中，通过无监督预训练来捕捉吉格像素全幅图像和各种基因组数据之间的固有互动，并且在预训练的多模态知识聚合后，我们的任务特定模型微调可以扩大适用于多模态和单模态数据（如仅图像或基因组）的数据效用范围，验证结果表明我们的方法在 TCGA 结直肠癌队列上是具有竞争力的并且胜过现有研究。

    Jul, 2023

  • 跨模态注意力多模态融合用于非小细胞肺癌（NSCLC）患者生存预测

    提出了一种跨模态注意力多模态融合管道，用于整合非小细胞肺癌（NSCLC）患者生存预测的特定模态知识，相较于单一模态的组合方法，在实验中取得了 c - 指数为 0.6587 的结果，展示了从不同模态融合中融入特定知识的能力。

    Aug, 2023

  • 合并 - 分离混合变压器网络用于头颈癌生存预测

    我们提出了一种融合 - 分叉学习框架，用于从多模态图像进行生存预测，并在融合编码器中使用混合并行交叉注意力块（HPCA）来融合多模态特征，并在分叉解码器中使用区域特定注意力门（RAG）块来筛选与病变区域相关的特征。我们的框架在头颈部 PET-CT 图像的生存预测中得到了验证，并在公共数据集上的实验结果表明，我们的网络（XSurv）优于现有的生存预测方法。

    Jul, 2023

  • 一种启用 Transformer 架构的综合多模态深度学习生存预测方法：一个胶质母细胞瘤多中心研究

    通过整合磁共振图像、临床数据和分子病理数据，应用基于 transformer 的深度学习模型改进了胶质母细胞瘤存活预测，在处理数据异质性和性能泛化性方面取得了突破。

    May, 2024

  • 跨模态生存分析的翻译和对齐

    通过在高通量测序技术中整合病理图像与基因组信息，本论文提出了一种跨模态转换与对齐（CMTA）框架，探索内在的跨模态关联性并转移互补信息，从而显著提高病人全面存活分析的判别能力。

    Sep, 2023

  • 癌症生存预测的多模态原型

    整合多模态存活方法、千亿像素组织学全幻灯片图像和转录组学，通过凝聚形态学原型和生物途径原型对 WSI 和转录组简化，再利用聚合网络（Transformer 或最优运输交叉对齐）处理得到的多模态令牌，能在较小且固定的令牌数量下实现高性能预测肿瘤患者预后、分层，同时实现较少的计算量并具备新的可解释性分析。

    Jun, 2024

  • MMTM:CNN 融合的多模态转移模块

    本文提出了一种简单的神经网络模块，名为 Multimodal Transfer Module（MMTM），它能够在 CNN 特征层次结构的不同层级上进行慢速模态融合，利用多模态知识校准每个 CNN 流中的通道特征，用于特征模态融合的卷积层具有不同的空间尺寸。该方法具有最小的网络结构更改，可用于初始化每个分支的现有预训练权重，实验结果显示，我们的框架提高了知名多模态网络的识别准确性。

    Nov, 2019

  • MM-SurvNet：基于深度学习的多模式数据融合在乳腺癌中的生存风险分层

    通过将组织病理图像、遗传数据和临床数据整合，构建了一种新颖的深度学习方法，使用视觉转换器和自注意力机制在病人层面上提取图像特征和捕获图像关系，同时采用双交叉注意力机制结合遗传数据，并在最终层级上加入临床数据以提高预测准确性，通过在公共 TCGA-BRCA 数据集上的实验，表明使用负对数似然损失函数训练的模型能够取得卓越的性能，均值 C 指数为 0.64，超过现有方法，为制定个体化的治疗策略提供了便利，潜在地改善了患者预后。

    Feb, 2024