基于多模态卷积神经网络的医学图像分割：图像融合方案研究

Oct, 2017

基于多模态卷积神经网络的医学图像分割：图像融合方案研究

Medical Image Segmentation Based on Multi-Modal Convolutional Neural Network: Study on Image Fusion Schemes

Zhe Guo, Xiang Li, Heng Huang, Ning Guo, Quanzheng Li

TL;DR本文提出了在监督医学图像分析中进行图像融合方案的概念架构，实现了基于卷积神经网络的三种图像融合方案，并将其结合成单个框架，用于同时分析多模式图像，检测软组织肉瘤的存在，并发现在特征级别融合的情况下，性能最好，但当任何图像模式存在大误差时，其鲁棒性会降低。

Abstract

Image analysis using more than one modality (i.e. multi-modal) has been increasingly applied in the field of biomedical imaging. One of the challenges in performing the multimodal analysis is that there exist multiple schemes for fusing the information from different modalities, where

multi-modal analysis biomedical imaging image fusion convolutional neural network soft tissue sarcoma detection

发现论文，激发创造

多模态医学图像的多任务深度学习分割

本文研究使用单个卷积神经网络对不同成像模式下的医学图像进行分割的方法，实验结果表明这种方法在不同任务中具有相当的分割性能，证明了卷积神经网络结构的高容量性。因此，可以在医学实践中使用单个系统进行自动分割任务，而无需进行任务特定的训练。

Apr, 2017

基于深度学习的多模态医学图像分类信息融合技术综述

多模医学成像在临床诊断和研究中起着关键作用，深度学习多模态融合技术在提高医学图像分类方面显示出强大的工具。本综述对基于深度学习的医学分类任务中的多模态融合的发展进行了彻底分析，包括不同融合方案和网络架构的性能评估，讨论了相关挑战和未来研究方向。

Apr, 2024

通过投影网络对具有异构维度的数据进行深度多模态融合

本研究提出了一种新颖的基于深度学习的多模态数据融合框架，具有异构维度（例如 3D+2D）的兼容定位任务的能力，并在地理萎缩和视网膜血管分割任务上取得了优于现有单模态方法的结果。

Feb, 2024

基于多任务相关学习的多模态融合框架在癌症预测中的应用

基于 ResNet-152 和 SGCN, 结合多模态多任务相关学习 (MultiCoFusion) 的多模态融合框架可用于肿瘤的生存分析和癌症等级分类，基于 The Cancer Genome Atlas (TCGA) 的实验结果表明，MultiCoFusion 的表现优于传统的特征提取方法。

Jan, 2022

MultiFusionNet：多层次多模态深度神经网络的胸部 X 光图像分类

通过利用卷积神经网络，提出了一种基于多层多模态融合模型的新型深度学习疾病检测模型，能够从不同层次提取特征并融合它们，在胸部 X 射线图像的疾病分类中取得了高达 97.21% 和 99.60% 的显著准确率，具有准确的疾病分类潜力，并可推广至其他胸部 X 射线图像中的疾病分类。

Jan, 2024

多维融合与一致性的半监督医学图像分割

本文介绍了一种新颖的针对医学图像分割的半监督学习框架，核心是创新的多尺度文本感知 ViT-CNN 融合方案，该方案巧妙地结合了 ViTs 和 CNNs 的优势，充分利用了视觉 - 语言模态中的互补信息。进一步丰富我们的框架，我们提出了多轴一致性框架，生成稳健的伪标签，从而提升了半监督学习过程。我们在多个常用数据集上进行了广泛的实验，这些实验无可辩驳地证明了我们方法的有效性。

Sep, 2023

可扩展的多模态卷积网络用于脑肿瘤分割

提出了一种新颖的可扩展多模式深度学习架构，利用新的嵌套结构，以显式利用跨模态或模式内深度特征，促使早期层结构化和稀疏化以使最终架构可扩展到多种模态，并对脑肿瘤分割进行评估，显示其相对于传统连接方法的规正化效果。

Jun, 2017

深度证据融合下的多模态医学图像分割与不确定性量化及上下文折扣

基于深度学习和 Dempster-Shafer 理论的多模式医学图像分割的融合框架，在考虑了每个单模态图像在分割不同对象时的可靠性的情况下，通过背景折扣操作对每个模态的证据进行合并，从而达到最终决策。与现有方法相比，实验结果表明我们的方法在准确性和可靠性方面表现优异。

Sep, 2023

多模融合深度学习模型在疾病识别中的应用

本文介绍了一种创新的多模态融合深度学习方法，以克服传统单模态识别技术的缺点，包括信息不完整和诊断准确性有限。通过应用先进的深度学习模型（包括卷积神经网络（CNN），循环神经网络（RNN）和变换器）从基于图像、时间和结构化数据源提取高级特征。融合策略组件旨在确定适合特定疾病识别任务的最佳融合模式。在实验部分，我们比较了拟议的多模态融合模型与现有的单模态识别方法的性能。研究结果表明，在多个评估指标上，多模态融合模型具有显著的优势。

May, 2024

基于 CNN 的医学图像分割

通过使用三维卷积神经网络结构以及针对标注数据稀少、标注实例失衡和三维医学图像处理困难等问题进行改进与优化，本论文应用于医学图像分割领域，实现了在手部和脑部 MRI 图像上的分割与验证。

Jan, 2017