Apr, 2024

iMD4GC: 不完全的多模式数据融合以提升胃癌精准治疗反应预测和生存分析

PDF
TL;DR提出了一种不完整的多模态数据集成框架用于胃癌研究，以满足临床实践中存在的多模态数据缺失挑战，实现精确的治疗反应预测和生存分析。通过在各模态中使用单模态注意力层以捕捉内部模态信息，并通过交叉模态交互层来探索潜在的模态之间相互作用和捕捉跨模态的互补信息，从而弥补遗漏模态的信息损失。在胃癌研究中收集了三个多模态数据集，并取得了显著的性能，分别在反应预测、生存分析上达到了 80.2% 的 AUC、71.4% 的 C-index 和 66.1% 的 C-index，明显超过其他比较方法。
gastric cancerneoadjuvant chemotherapymultimodal data integrationresponse predictionsurvival analysis
发现论文，激发创造
  • 跨模态注意力多模态融合用于非小细胞肺癌（NSCLC）患者生存预测

    提出了一种跨模态注意力多模态融合管道，用于整合非小细胞肺癌（NSCLC）患者生存预测的特定模态知识，相较于单一模态的组合方法，在实验中取得了 c - 指数为 0.6587 的结果，展示了从不同模态融合中融入特定知识的能力。

    Aug, 2023

  • Path-GPTOmic: 一个平衡的多模态学习框架用于生存结局预测

    通过多模态框架和生物学洞察来提高癌症生存预测准确性。

    Mar, 2024

  • 基于多任务相关学习的多模态融合框架在癌症预测中的应用

    基于 ResNet-152 和 SGCN, 结合多模态多任务相关学习 (MultiCoFusion) 的多模态融合框架可用于肿瘤的生存分析和癌症等级分类，基于 The Cancer Genome Atlas (TCGA) 的实验结果表明，MultiCoFusion 的表现优于传统的特征提取方法。

    Jan, 2022

  • 多模态癌症生存分析中的群体个体协作学习

    我们提出了一种合作学习框架，通过知识分解和队列引导方法协同推进癌症生存分析，以提高多模态数据的融合、鉴别和泛化能力。通过四个不同组成部分：冗余性、协同性、独特性和队列引导建模，我们的模型在融合多模态数据进行生存分析时展现出了卓越的效果。

    Apr, 2024

  • 利用神经网络预测不同癌症类型患者的生存情况

    本研究介绍了一种创新方法，利用先进的图像分析技术提高胃癌和结肠腺癌患者的生存预测模型；通过提取全切片图像的细致特征并构建基于患者的图，利用 4 层图卷积神经网络进行全面分析和预测，结果表明该方法高度准确地预测患者的生存结果，对医学和人工智能社区具有重大影响。

    Apr, 2024

  • 精准肿瘤学的多模态数据融合：挑战与未来方向

    综述了近 300 篇有关精准肿瘤学中多模态数据融合技术的前沿研究，总结了早期评估、诊断、预后和生物标志物发现等主要临床应用的重大成果，并深入分析了未来研究领域中的关键挑战和必要路径。

    Jun, 2024

  • MGCT: 基于综合组织病理学 - 基因组特征的生存结局预测的互相引导的跨模态变换器

    基于深度学习的计算病理学领域的研究表明，利用全切片图像（WSIs）客观预测癌症患者预后的效果显著。然而，目前大多数预后方法局限于组织病理学或基因组学，不可避免地降低了其准确预测患者预后的潜力。为了解决这些问题，我们提出了一种弱监督、基于注意机制的多模态学习框架 —— 互相引导的跨模态转换器（MGCT），可以利用组织学特征和基因组特征来建模肿瘤微环境内的基因型 - 表型相互作用。通过使用来自癌症基因组图谱（TCGA）的五种不同癌症类型的近 3600 个 Gigapixel WSIs 进行实验，广泛的实验结果一致表明 MGCT 优于现有的最先进方法（SOTA）。

    Nov, 2023

  • 预测腋窝淋巴结转移中的缺失模态下的多模态学习

    基于多模态学习的鉴别性淋巴结转移诊断模型，在临床医学实践中，通过双向蒸馏框架获得全面的多模态知识和稳健的 WSI 特征，有效地处理多模态数据和丢失模态，提高早期乳腺癌患者治疗决策的准确性。

    Jan, 2024

  • 基于嵌入式多模式学习的全面鳞癌的生存结果改善

    用于患者生存预测的基于多模态数据的图神经网络框架 PARADIGM 优于其他模型，通过整合多种数据视角，提供全面的疾病认知。

    Jun, 2024

  • FORESEE: 癌症生存鲁棒预测的多模态和多视图表示学习

    一个新的端到端框架 FORESEE，通过挖掘多模态信息来稳健地预测患者生存情况，同时利用细胞水平、组织水平和肿瘤异质性水平的丰富语义特征，解决了多模态数据的缺失问题，并通过交叉尺度特征融合方法，提高了病理图像特征表征能力。

    May, 2024