SELECTOR: 异质图网络与基于卷积掩码自编码器的多模态癌症生存鲁棒预测
一个新的端到端框架 FORESEE,通过挖掘多模态信息来稳健地预测患者生存情况,同时利用细胞水平、组织水平和肿瘤异质性水平的丰富语义特征,解决了多模态数据的缺失问题,并通过交叉尺度特征融合方法,提高了病理图像特征表征能力。
May, 2024
我们提出了一种融合 - 分叉学习框架,用于从多模态图像进行生存预测,并在融合编码器中使用混合并行交叉注意力块(HPCA)来融合多模态特征,并在分叉解码器中使用区域特定注意力门(RAG)块来筛选与病变区域相关的特征。我们的框架在头颈部 PET-CT 图像的生存预测中得到了验证,并在公共数据集上的实验结果表明,我们的网络(XSurv)优于现有的生存预测方法。
Jul, 2023
基于 ResNet-152 和 SGCN, 结合多模态多任务相关学习 (MultiCoFusion) 的多模态融合框架可用于肿瘤的生存分析和癌症等级分类,基于 The Cancer Genome Atlas (TCGA) 的实验结果表明,MultiCoFusion 的表现优于传统的特征提取方法。
Jan, 2022
我们提出了一种名为 Two-stream Transformer-based Multimodal Fusion Network for survival prediction (TTMFN) 的新型框架,综合了病理图像和基因表达数据,通过多模态共同关注转换器模块和多头注意力池化方法,实现了对患者总体生存预测的最佳性能或竞争结果。
Nov, 2023
提出了一种跨模态注意力多模态融合管道,用于整合非小细胞肺癌(NSCLC)患者生存预测的特定模态知识,相较于单一模态的组合方法,在实验中取得了 c - 指数为 0.6587 的结果,展示了从不同模态融合中融入特定知识的能力。
Aug, 2023
本文提出了一个名为 Lite-ProSENet 的智能跨模态网络,针对肺癌的生存时间分析任务,利用多模态数据,相较于现有模型达到了最新的最优结果,89.3% 的协调性。
Nov, 2022
通过结合 CT 成像和临床数据,该研究旨在设计一个全面的深度学习模型,能够预测肾细胞癌患者的存活概率,解决之前研究中存在的局限性,以便识别需要紧急治疗的患者。
Jul, 2023
本研究提出了一种新的深度学习方法用于肿瘤分割,特别是在处理数据缺失时具备先进性。首先,将所有观察到的模态独立地嵌入到共享潜在表示中,然后从这个潜在表示中生成缺失数据和肿瘤分割。最后,通过将双方的优点与 3D U-Net 和多模态变分自编码器相结合,提出了一种新的网络结构。
Jul, 2019
通过整合磁共振图像、临床数据和分子病理数据,应用基于 transformer 的深度学习模型改进了胶质母细胞瘤存活预测,在处理数据异质性和性能泛化性方面取得了突破。
May, 2024