Jul, 2024

DSCENet：MPNs亚型分类的动态筛选和临床增强的多模态融合

HTML
PDF
TL;DR我们提出了一种全面诊断慢性增生性肿瘤（myeloproliferative neoplasms）的方法，利用多模态融合技术基于全切片图像（whole slide images）和临床信息的动态筛查和临床增强网络（Dynamic Screening and Clinical-Enhanced Network，DSCENet），实现亚型分类。与之前的最先进方法相比，我们的方法在真实临床数据上提高了7.91%的AUC和16.89%的准确率。
发现论文，激发创造
  • 利用人工智能搜索归档的组织病理学图像进行全癌种诊断共识

    本研究证实数字病理学结合人工智能可以用于疾病诊断以及提高诊断准确率并通过相似案例的可视化检查和计算机多数表决来帮助病理医生。在该研究中，通过搜索最大的公共存储库之一，本文显示出当足够的可搜索案例数量可用于每种癌症亚型时，计算机一致性似乎可以用于诊断。

    Nov, 2019

  • GMSRF-Net：面向息肉分割的全局多尺度残差融合网络的改进泛化能力

    本文提出了一种应用全局多尺度残差融合网络（GMSRF-Net）进行息肉分割的方法，通过交叉多尺度的注意力和多尺度特征选择模块，增强了网络的泛化能力，在两个不同的息肉分割数据集上，该方法相较之前最优的方法提高了8.34％和10.31％的dice系数。

    Nov, 2021

  • 深度多模态融合图像和非图像数据在疾病诊断与预后中的应用: 综述

    这篇论文综述如何运用多模态深度学习技术提取和汇总多模态信息，以实现更客观、定量化的计算机辅助临床决策，并探讨了其在疾病诊断和预后中的应用、性能表现、挑战和未来发展方向。

    Mar, 2022

  • 领域特定预训练提高全切片图像分类的置信度

    该论文研究了域特定预训练模型对神经胶质母细胞瘤分类的影响和应用性，通过考虑目前最先进的多实例学习模型，CLAM和TransMIL，并评估模型的置信度和预测性能，表明域特定预训练有助于提高模型置信度并实现WSI基础的神经胶质母细胞瘤亚型分类的最新最佳性能。

    Feb, 2023

  • H&E切片和多重免疫荧光图像之间的多模态病理图像搜索

    该研究提出了一种在VAE潜在空间中使用动态时间扭曲(DTW)进行多模式病理图像搜索的方法，并将其馈送到排名选择投票方案中，以检索与查询H&E幻灯片最相似的多重免疫荧光成像(mIF)。通过训练VAE和应用DTW，我们对齐并比较mIF和H&E幻灯片，从而融合了形态学H&E数据和来自mIF的免疫表型，从而提供了丰富的疾病状态视角，可能 彻底改变诊断过程，提高精度并实现个性化治疗选择的能力。

    Jun, 2023

  • 利用合成病理先验在CT图像上对肺癌亚型进行分类

    提出了自动生成混合特征网络（SGHF-Net）用于肺癌亚型的模式分类，通过深度神经网络 quantitatively maps cross-modality associations 从 CT images 提取“gold standard”信息，实现了更准确的预测，并在多中心数据集上展示了该模型的卓越性。

    Aug, 2023

  • MGCT: 基于综合组织病理学-基因组特征的生存结局预测的互相引导的跨模态变换器

    基于深度学习的计算病理学领域的研究表明，利用全切片图像（WSIs）客观预测癌症患者预后的效果显著。然而，目前大多数预后方法局限于组织病理学或基因组学，不可避免地降低了其准确预测患者预后的潜力。为了解决这些问题，我们提出了一种弱监督、基于注意机制的多模态学习框架——互相引导的跨模态转换器（MGCT），可以利用组织学特征和基因组特征来建模肿瘤微环境内的基因型-表型相互作用。通过使用来自癌症基因组图谱（TCGA）的五种不同癌症类型的近3600个Gigapixel WSIs进行实验，广泛的实验结果一致表明MGCT优于现有的最先进方法（SOTA）。

    Nov, 2023

  • $M^{2}$Fusion：基于贝叶斯的多模态多级融合在结直肠癌微卫星不稳定性预测中的应用

    提出了一种基于贝叶斯的多模态多层融合技术，将病理WSI和三维影像CT图像相融合，用于预测结直肠癌微卫星不稳定性，通过特征级和决策级融合策略，在交叉验证中验证并改进了MSI预测的性能。

    Jan, 2024

  • CC-DCNet: 利用对比约束的动态卷积神经网络在多模态图像中鉴定肺癌亚型

    利用深度学习技术，我们提出了一种新颖的深度学习网络，通过多维和多模态图像（CT和病理图像）精确分类肺癌亚型，以提高临床诊断准确性。通过动态处理配对的CT-病理图像集以及独立的CT图像集，并优化从CT图像中提取与病理相关的特征，我们的模型展示了在肺癌亚型分类中卓越的效果，大幅提高了准确度。

    Jul, 2024

  • 非小细胞肺癌的多模态医学图像融合分类

    本研究解决了非小细胞肺癌（NSCLC）的早期检测和亚型分类的复杂问题，通过融合CT和PET扫描图像、临床健康记录及基因组数据，提出了一种创新的多模态数据整合方法。研究结果表明，该新方法在NSCLC检测和分类的精度上取得了显著提升，准确率达94.04%，具有潜在的转变诊断和治疗规划的影响。

    Sep, 2024