Sep, 2023

深度证据融合下的多模态医学图像分割与不确定性量化及上下文折扣

PDF
TL;DR基于深度学习和 Dempster-Shafer 理论的多模式医学图像分割的融合框架，在考虑了每个单模态图像在分割不同对象时的可靠性的情况下，通过背景折扣操作对每个模态的证据进行合并，从而达到最终决策。与现有方法相比，实验结果表明我们的方法在准确性和可靠性方面表现优异。
single-modality medical imagesmultimodal medical imagesfusion frameworkdeep learningdempster-shafer theory
发现论文，激发创造
  • 基于证据融合的半监督医学图像分割的不确定性感知学习

    通过在混合和原始样本的跨区域整合证据预测结果，重分配每个体素的置信度和不确定度度量，结合信息熵设计了体素级渐进学习策略以更加准确地估计体素的预测结果。实验结果表明，我们提出的方法在 LA、胰腺 CT、ACDC 和 TBAD 数据集上相对于现有技术取得了卓越的性能。

    Apr, 2024

  • 多模态证据融合网络用于可信 PET/CT 肿瘤分割

    在计算机辅助肿瘤诊断和治疗中，精确分割 PET/CT 图像对癌症的诊断和治疗非常重要。本文提出了一种新颖的多模态证据融合网络（MEFN），通过交叉模态特征学习（CFL）模块和多模态可信融合（MTF）模块，以有效整合 PET 和 CT 图像中的互补信息并考虑模态不确定性，进而提高肿瘤分割的准确性和可信度。通过在两个公开的 PET/CT 数据集上进行广泛的对比实验，结果表明我们的方法在 DSC 评分上分别比现有方法提高了 2.15% 和 3.23%。此外，我们的模型还能够为放射科医生提供可信的分割结果不确定性，对于临床应用非常重要。

    Jun, 2024

  • 深度多模态融合图像和非图像数据在疾病诊断与预后中的应用：综述

    这篇论文综述如何运用多模态深度学习技术提取和汇总多模态信息，以实现更客观、定量化的计算机辅助临床决策，并探讨了其在疾病诊断和预后中的应用、性能表现、挑战和未来发展方向。

    Mar, 2022

  • 基于信念函数理论和深度学习的医学图像分割

    研究了基于不确定证据的深度学习医学图像分割方法，包括信息建模和融合，在深度学习中使用了证据分割和证据融合的半监督医学图像分割框架，以及使用了深度学习和证据分类器构建的深度证据模型进行淋巴瘤分割和多模态医学图像融合框架。

    Sep, 2023

  • 基于多模态卷积神经网络的医学图像分割：图像融合方案研究

    本文提出了在监督医学图像分析中进行图像融合方案的概念架构，实现了基于卷积神经网络的三种图像融合方案，并将其结合成单个框架，用于同时分析多模式图像，检测软组织肉瘤的存在，并发现在特征级别融合的情况下，性能最好，但当任何图像模式存在大误差时，其鲁棒性会降低。

    Oct, 2017

  • 基于深度学习的多模态医学图像分类信息融合技术综述

    多模医学成像在临床诊断和研究中起着关键作用，深度学习多模态融合技术在提高医学图像分类方面显示出强大的工具。本综述对基于深度学习的医学分类任务中的多模态融合的发展进行了彻底分析，包括不同融合方案和网络架构的性能评估，讨论了相关挑战和未来研究方向。

    Apr, 2024

  • 基于特征分离和门控融合的鲁棒多模式脑肿瘤分割

    本研究提出一种新的多模态分割框架，使用特征解缠来将多模态数据分解为特定于每种模态的出现代码和吸收多模态信息的模态不变内容代码，从而通过在不同区域门控不同模态的贡献来融合来自每种模态的解缠内容代码，在各个模态数据缺失的情况下获得了优异的鲁棒性，尤其是在 BRATS 挑战数据集的脑肿瘤分割任务中表现出了优秀的性能。

    Feb, 2020

  • 通过投影网络对具有异构维度的数据进行深度多模态融合

    本研究提出了一种新颖的基于深度学习的多模态数据融合框架，具有异构维度（例如 3D+2D）的兼容定位任务的能力，并在地理萎缩和视网膜血管分割任务上取得了优于现有单模态方法的结果。

    Feb, 2024

  • 使用多模态深度学习整合医学影像与临床报告进行先进疾病分析

    通过创新的多模态深度学习模型，本文旨在深度整合医学图像和临床报告等异构信息。使用卷积神经网络提取高维特征，捕捉关键视觉信息；利用双向长短时记忆网络结合注意机制，在临床报告文本中进行深度语义理解，准确捕捉与疾病相关的关键陈述。通过设计的多模态融合层，有效实现图像和文本的联合表征学习。实证研究中，利用大型医学图像数据库和相应的临床报告进行模型训练和验证，实验结果明显展示了多模态深度学习模型在疾病分类、损伤定位和临床描述生成方面的显著优越性。

    May, 2024

  • 面向眼科疾病筛查的知识可感知多模态学习

    我们提出了一种新颖的多模态证据融合管道，针对眼科疾病筛查，在不同模态的信息融合中提供置信度测量，并通过多分布融合角度优雅地集成多模态信息。实验证明，我们的模型在健壮性方面表现出色，特别是在涉及高斯噪声和模态缺失条件的挑战性场景中。此外，我们的模型展示了强大的泛化能力，对于分布之外的数据，突显其作为多模态眼病筛查的有希望的解决方案的潜力。

    May, 2024