Oct, 2023

多模态医学神经影像融合基于小波池化保存边缘自编码器

PDF
TL;DR基于边缘保持稠密自编码器网络的多模态医学图像的端到端无监督融合模型，通过波尔特分解的特征图注意力池化改进了特征提取过程，提高了源图像中精细边缘细节信息的保留和融合图像的视觉感知。通过在多种医学图像对上训练，有效地捕捉源图像的强度分布和保留诊断信息。实验结果表明，与其他最先进的融合方法相比，所提出的方法提供了改进的视觉和定量结果。
medical image fusiondeep learningconvolutional neural networkedge-preserving dense autoencoder networkmultimodal medical images
发现论文，激发创造
  • 基于拉普拉斯自编码器和通道注意力的新型多模态医学图像融合

    提出了一种基于综合的 Laplacian-Gaussian 连接和注意力汇聚的多模式医学图像融合模型，证明了该模型能有效地保留互补信息和重要的组织结构。

    Oct, 2023

  • 基于小波信道注意力融合网络的单幅图像去雨

    本文提出了一种新的卷积神经网络，叫做 Wavelet 通道注意力模块与融合网络，通过利用小波变换和逆小波变换来恢复图像，结合通道注意力，取得了比现有方法更好的降雨噪声图像去噪效果。

    Jul, 2020

  • 基于多模态卷积神经网络的医学图像分割：图像融合方案研究

    本文提出了在监督医学图像分析中进行图像融合方案的概念架构，实现了基于卷积神经网络的三种图像融合方案，并将其结合成单个框架，用于同时分析多模式图像，检测软组织肉瘤的存在，并发现在特征级别融合的情况下，性能最好，但当任何图像模式存在大误差时，其鲁棒性会降低。

    Oct, 2017

  • 使用多模态深度学习整合医学影像与临床报告进行先进疾病分析

    通过创新的多模态深度学习模型，本文旨在深度整合医学图像和临床报告等异构信息。使用卷积神经网络提取高维特征，捕捉关键视觉信息；利用双向长短时记忆网络结合注意机制，在临床报告文本中进行深度语义理解，准确捕捉与疾病相关的关键陈述。通过设计的多模态融合层，有效实现图像和文本的联合表征学习。实证研究中，利用大型医学图像数据库和相应的临床报告进行模型训练和验证，实验结果明显展示了多模态深度学习模型在疾病分类、损伤定位和临床描述生成方面的显著优越性。

    May, 2024

  • 基于深度学习的多模态医学图像分类信息融合技术综述

    多模医学成像在临床诊断和研究中起着关键作用，深度学习多模态融合技术在提高医学图像分类方面显示出强大的工具。本综述对基于深度学习的医学分类任务中的多模态融合的发展进行了彻底分析，包括不同融合方案和网络架构的性能评估，讨论了相关挑战和未来研究方向。

    Apr, 2024

  • 通过投影网络对具有异构维度的数据进行深度多模态融合

    本研究提出了一种新颖的基于深度学习的多模态数据融合框架，具有异构维度（例如 3D+2D）的兼容定位任务的能力，并在地理萎缩和视网膜血管分割任务上取得了优于现有单模态方法的结果。

    Feb, 2024

  • MultiFusionNet：多层次多模态深度神经网络的胸部 X 光图像分类

    通过利用卷积神经网络，提出了一种基于多层多模态融合模型的新型深度学习疾病检测模型，能够从不同层次提取特征并融合它们，在胸部 X 射线图像的疾病分类中取得了高达 97.21% 和 99.60% 的显著准确率，具有准确的疾病分类潜力，并可推广至其他胸部 X 射线图像中的疾病分类。

    Jan, 2024

  • WavePF: 基于小波引导池化的红外与可见光图像融合新方法

    本文提出了一种基于小波引导池化的融合网络（WavePF），在多个图像融合基准测试上表现出优越的性能，其通过小波池化编码器同时提取源图像的多尺度图像和细节信息，并使用空间注意力模型聚合这些显着特征。

    May, 2023

  • 多模融合深度学习模型在疾病识别中的应用

    本文介绍了一种创新的多模态融合深度学习方法，以克服传统单模态识别技术的缺点，包括信息不完整和诊断准确性有限。通过应用先进的深度学习模型（包括卷积神经网络（CNN），循环神经网络（RNN）和变换器）从基于图像、时间和结构化数据源提取高级特征。融合策略组件旨在确定适合特定疾病识别任务的最佳融合模式。在实验部分，我们比较了拟议的多模态融合模型与现有的单模态识别方法的性能。研究结果表明，在多个评估指标上，多模态融合模型具有显著的优势。

    May, 2024

  • 使用不对称多层融合学习深层次多模态特征表示

    本文介绍了一种有效的多模态特征融合框架，其中采用了两种创新的融合方案，可在一个共享的单一网络中学习多模态特征，并引入两个非对称融合操作，以增强跨通道的多模态特征交互并增强通道内的空间特征区分能力。实验结果表明，本文提出的框架在语义分割和图像翻译任务中表现优异。

    Aug, 2021