Apr, 2023

小数据集的辅助监督改进多模态融合

PDF
TL;DR研究简述：为了在小数据集上避免过拟合，提出使用额外监督、临床预测和密集融合三种简单方法进行改进的多模态融合，以帮助优化。提出的方法可以应用于任何具有配对图像和非图像数据的分类任务，本研究在前列腺癌诊断方面进行了验证。
prostate cancermultimodal fusionclinical decisionsupervisionhistopathology imaging
发现论文，激发创造
  • 深度多模态融合图像和非图像数据在疾病诊断与预后中的应用：综述

    这篇论文综述如何运用多模态深度学习技术提取和汇总多模态信息，以实现更客观、定量化的计算机辅助临床决策，并探讨了其在疾病诊断和预后中的应用、性能表现、挑战和未来发展方向。

    Mar, 2022

  • 跨模态注意力多模态融合用于非小细胞肺癌（NSCLC）患者生存预测

    提出了一种跨模态注意力多模态融合管道，用于整合非小细胞肺癌（NSCLC）患者生存预测的特定模态知识，相较于单一模态的组合方法，在实验中取得了 c - 指数为 0.6587 的结果，展示了从不同模态融合中融入特定知识的能力。

    Aug, 2023

  • 基于多任务相关学习的多模态融合框架在癌症预测中的应用

    基于 ResNet-152 和 SGCN, 结合多模态多任务相关学习 (MultiCoFusion) 的多模态融合框架可用于肿瘤的生存分析和癌症等级分类，基于 The Cancer Genome Atlas (TCGA) 的实验结果表明，MultiCoFusion 的表现优于传统的特征提取方法。

    Jan, 2022

  • FORESEE: 癌症生存鲁棒预测的多模态和多视图表示学习

    一个新的端到端框架 FORESEE，通过挖掘多模态信息来稳健地预测患者生存情况，同时利用细胞水平、组织水平和肿瘤异质性水平的丰富语义特征，解决了多模态数据的缺失问题，并通过交叉尺度特征融合方法，提高了病理图像特征表征能力。

    May, 2024

  • 基于深度学习的多模态医学图像分类信息融合技术综述

    多模医学成像在临床诊断和研究中起着关键作用，深度学习多模态融合技术在提高医学图像分类方面显示出强大的工具。本综述对基于深度学习的医学分类任务中的多模态融合的发展进行了彻底分析，包括不同融合方案和网络架构的性能评估，讨论了相关挑战和未来研究方向。

    Apr, 2024

  • 癌症检测中的多模态医学影像深度学习调查

    通过深度学习，本文调查了逾 150 篇研究，主要关注使用深度学习的多模态癌症检测的数据集以及解决各种挑战的方案，如数据注释、类别差异、小规模损伤和遮挡等。同时概述了每种方法的优点和缺陷，并讨论了当前工作范畴以及未来多模态癌症检测的发展方向。

    Dec, 2023

  • Pathomic Fusion：融合组织学和基因组特征的癌症诊断和预后一体化框架

    本文提出了一种解释性的、端到端的多模态融合策略 —— Pathomic Fusion，它基于组织学图像和基因组学（突变、CNV、RNA-Seq）特征，模型化跨模式的特征交互，并通过基于门控的注意机制控制每个表示的表现力，以提高生存结果预测的准确性，从而有助于其他医学问题的解决。

    Dec, 2019

  • 深度证据融合下的多模态医学图像分割与不确定性量化及上下文折扣

    基于深度学习和 Dempster-Shafer 理论的多模式医学图像分割的融合框架，在考虑了每个单模态图像在分割不同对象时的可靠性的情况下，通过背景折扣操作对每个模态的证据进行合并，从而达到最终决策。与现有方法相比，实验结果表明我们的方法在准确性和可靠性方面表现优异。

    Sep, 2023

  • 个性化肾细胞癌预后的多模态深度学习：CT 影像与临床数据的整合

    通过结合 CT 成像和临床数据，该研究旨在设计一个全面的深度学习模型，能够预测肾细胞癌患者的存活概率，解决之前研究中存在的局限性，以便识别需要紧急治疗的患者。

    Jul, 2023

  • 基于特征分离和门控融合的鲁棒多模式脑肿瘤分割

    本研究提出一种新的多模态分割框架，使用特征解缠来将多模态数据分解为特定于每种模态的出现代码和吸收多模态信息的模态不变内容代码，从而通过在不同区域门控不同模态的贡献来融合来自每种模态的解缠内容代码，在各个模态数据缺失的情况下获得了优异的鲁棒性，尤其是在 BRATS 挑战数据集的脑肿瘤分割任务中表现出了优秀的性能。

    Feb, 2020