Jul, 2023

合并 - 分离混合变压器网络用于头颈癌生存预测

PDF
TL;DR我们提出了一种融合 - 分叉学习框架，用于从多模态图像进行生存预测，并在融合编码器中使用混合并行交叉注意力块（HPCA）来融合多模态特征，并在分叉解码器中使用区域特定注意力门（RAG）块来筛选与病变区域相关的特征。我们的框架在头颈部 PET-CT 图像的生存预测中得到了验证，并在公共数据集上的实验结果表明，我们的网络（XSurv）优于现有的生存预测方法。
survival predictiondeep survival modelsmulti-modality imagesregion-specific informationxsurv
发现论文，激发创造
  • 一种启用 Transformer 架构的综合多模态深度学习生存预测方法：一个胶质母细胞瘤多中心研究

    通过整合磁共振图像、临床数据和分子病理数据，应用基于 transformer 的深度学习模型改进了胶质母细胞瘤存活预测，在处理数据异质性和性能泛化性方面取得了突破。

    May, 2024

  • 面部和颈部癌症患者的肿瘤图学习进行生存预测

    通过 U 型卷积神经网络进行头颈部区域分割，结合支持向量机分类器实现肿瘤的语义分割，采用 Weibull 加速失效时间模型和深度学习等方法进行存活预后预测，在图像块处理方面探索性地进行图形卷积，从而实现对头颈癌进行自动分割和预后预测，测试数据获得了 0.64 的协调指数，在 HECKTOR 2022 挑战排行榜中排名第六。

    Apr, 2023

  • FORESEE: 癌症生存鲁棒预测的多模态和多视图表示学习

    一个新的端到端框架 FORESEE，通过挖掘多模态信息来稳健地预测患者生存情况，同时利用细胞水平、组织水平和肿瘤异质性水平的丰富语义特征，解决了多模态数据的缺失问题，并通过交叉尺度特征融合方法，提高了病理图像特征表征能力。

    May, 2024

  • DeepMSS: PET/CT 图像的深度多模态分割至生存预测学习

    本文提出了一种新型深度多模态分割 - 预测幸存模型，該模型采用分割 - 预测学习 策略和数据驱动的方法，能够从 PET/CT 图像中进行肿瘤分割和幸存预测，并能将传统放射学特征作为一种增强，能够更好地适应最佳训练模型来预测平台上不同的治疗的患者的存活和处理等方面的差异。

    May, 2023

  • TTMFN: 基于双流变压器的多模态融合网络用于生存预测

    我们提出了一种名为 Two-stream Transformer-based Multimodal Fusion Network for survival prediction (TTMFN) 的新型框架，综合了病理图像和基因表达数据，通过多模态共同关注转换器模块和多头注意力池化方法，实现了对患者总体生存预测的最佳性能或竞争结果。

    Nov, 2023

  • 通过多标签学习和深度模型解释推进头颈癌生存预测

    我们提出了 IMLSP，一个可解释的多标签多模态深度存活预测框架，用于同时预测多个头颈癌存活结果，并提供深度预测过程的时间事件特定的可视化解释。我们采用多任务逻辑回归层将存活预测从回归问题转化为多时间点分类任务，并能够同时预测多个相关存活结果。通过公开可用的 RADCURE HNC 数据集的评估，我们的方法在所有存活结果上优于相应的单模态模型和单标签模型。生成的激活图显示，该模型在做出决策时主要关注肿瘤和淋巴结体积，并且对于高风险患者和低风险患者的感兴趣体积有所不同。我们证明多标签学习策略可以提高学习效率和预后性能，而可解释的存活预测模型有助于理解人工智能的决策过程，并促进个性化治疗。

    May, 2024

  • MM-SurvNet：基于深度学习的多模式数据融合在乳腺癌中的生存风险分层

    通过将组织病理图像、遗传数据和临床数据整合，构建了一种新颖的深度学习方法，使用视觉转换器和自注意力机制在病人层面上提取图像特征和捕获图像关系，同时采用双交叉注意力机制结合遗传数据，并在最终层级上加入临床数据以提高预测准确性，通过在公共 TCGA-BRCA 数据集上的实验，表明使用负对数似然损失函数训练的模型能够取得卓越的性能，均值 C 指数为 0.64，超过现有方法，为制定个体化的治疗策略提供了便利，潜在地改善了患者预后。

    Feb, 2024

  • 基于视觉变换器的 PET/CT 图像淋巴瘤分割的多模态特征融合网络

    本研究旨在发展一种准确的淋巴瘤分割方法，采用 18F - 氟脱氧葡萄糖正电子发射断层扫描和计算机断层扫描图像结合视觉转换器和双编码器进行淋巴瘤分割，这在计算辅助淋巴瘤诊断和治疗方面具有巨大潜力。

    Feb, 2024

  • 基于深度学习的多角度 PET 图像最大强度投影（MA-MIPs）的头颈癌无分割结果预测

    我们引入了一种创新的、简单而有效的无分割方法，用于对头颈癌（HNC）患者的结果预测。通过利用基于深度学习的特征提取技术和应用于氟脱氧葡萄糖正电子发射断层扫描（FDG-PET）体积的多角度最大强度投影（MA-MIP），我们的提出的方法消除了对于感兴趣区域（ROIs）如原发肿瘤和受累淋巴结的手动分割的需要。相反，先训练一个最先进的目标检测模型，在 PET 体积上自动进行头颈区域的裁剪。然后，利用预训练的深度卷积神经网络主干提取来自裁剪的 PET 体积的 72 个多角度轴向旋转的 MA-MIP 的深层特征。然后将从 PET 体积的多个投影视图中提取的这些深层特征进行聚合和融合，并用于对 489 例 HNC 患者进行无复发生存分析。所提出的方法在目标数据集上的无复发生存分析任务中胜过了表现最好的方法。通过避免对 FDG PET-CT 图像上的恶性病灶人工划定的依赖，我们的方法消除了对主观解释的依赖，并极大地提高了所提出的生存分析方法的可重复性。

    May, 2024

  • 病理与基因组学多模态变压器用于生存情况预测

    提出了一种多模态变压器模型 (PathOmics)，将病理学和基因组学洞察力结合到结直肠相关癌症存活预测中，通过无监督预训练来捕捉吉格像素全幅图像和各种基因组数据之间的固有互动，并且在预训练的多模态知识聚合后，我们的任务特定模型微调可以扩大适用于多模态和单模态数据（如仅图像或基因组）的数据效用范围，验证结果表明我们的方法在 TCGA 结直肠癌队列上是具有竞争力的并且胜过现有研究。

    Jul, 2023