Apr, 2024

MambaDFuse: 利用 Mamba 构建的双阶段多模态图像融合模型

PDF
TL;DR提出了一种基于 Mamba 的双相融合模型 (MambaDFuse)，用于解决现有方法在多模态图像融合任务中提取特征和融合特征的效率问题，通过设计双级特征提取器和双相特征融合模块，实现了具有良好融合结果的图像重建，并在红外 - 可见光图像融合和医学图像融合等任务中取得了显著的性能提升。
multi-modality image fusionmamba-based dual-phase fusionfeature extractionfeature fusioninfrared-visible image fusion
发现论文，激发创造
  • FusionMamba: 多模态图像融合的动态特征增强

    提出了一种基于 FusionMamba 的动态特征增强方法，用于多模式图像融合，具有与 Mamba 相同的性能和全局建模能力，同时降低通道冗余并增强本地增强能力。证明了该模型在各种多模式医学图像融合任务（CT-MRI、PET-MRI、SPECT-MRI）、红外和可见图像融合任务（IR-VIS）以及多模式生物医学图像融合数据集（GFP-PC）中具有泛化能力。

    Apr, 2024

  • 融合短吻鳄的跨模态物体检测

    本文研究通过对改进的 Mamba 与门控机制在隐藏状态空间中关联交叉模态特征，设计了一个融合 Mamba 块（FMB）来将交叉模态特征映射到隐藏状态空间进行交互，从而降低交叉模态特征的差异性并增强融合特征的表征一致性；通过在公共数据集上进行大量实验证明，我们提出的方法在 $m$AP 上超过了 5.9％的 $M^3FD$ 和 4.9％的 FLIR-Aligned 数据集，展现出卓越的目标检测性能。据我们所知，本文首次探索了 Mamba 在跨模态融合中的潜力，并为跨模态目标检测建立了一个新的基线。

    Apr, 2024

  • FusionMamba：基于状态空间模型的高效图像融合

    图像融合是通过将具有有限光谱信息的高分辨率图像与具有丰富光谱数据的低分辨率图像相结合，生成高分辨率的多 / 高光谱图像。本文提出了一种名为 FusionMamba 的创新方法，通过在两个 U 型网络中结合 Mamba 块，以一种高效、独立和分级的方式提取空间和光谱特征，进而有效地将空间和光谱信息进行融合，得到了优于其他融合技术的性能，证明了 FusionMamba 的有效性。

    Apr, 2024

  • MMR-Mamba: Mamba 与空间频率信息融合的多对比度 MRI 重建

    通过 MMR-Mamba 框架中 Mamba 和空间频率信息融合，从辅助模态获取的信息，实现了多对比度 MRI 加速成像和高质量重建目标图像，通过创新的策略有效融合了空间和频率领域的特征，避免冗余信息的引入。

    Jun, 2024

  • 耦合脉百加倍：耦合状态空间模型增强的多模态融合

    多模态融合的核心在于利用不同模态所固有的互补信息，然而现有的融合方法对于捕捉模态之间的复杂内部和相互关联动态缺乏充分准备，而最近在至关重要的状态空间模型 (SSM) 方面取得的进展，尤其是 Mamba 模型，成为有希望的竞争者，本文提出了耦合 SSM 模型来解决多种模态融合时的挑战，通过设计一个模态间隐藏状态转换方案以及并行计算的全局卷积核，实现多模态融合并在实验证实了其有效性。

    May, 2024

  • MedMamba：针对医学图像分类的视觉蛇

    Medical image classification using Vision Mamba, a novel Conv-SSM module that combines convolutional layers with state space model, demonstrates promising results in detecting lesions, establishing a new baseline for the field.

    Mar, 2024

  • I2I-Mamba: 通过选择性状态空间建模的多模态医学图像合成

    通过引入选择性状态空间建模 (SSM) 来捕捉远程上下文并保持局部精度，提出了一种新型对抗性模型 I2I-Mamba，该模型在卷积骨干网络的瓶颈中注入通道混合 Mamba (cmMamba) 块，综合报告了多对比度 MRI 和 MRI-CT 协议中缺失图像的完整演示，研究结果表明，I2I-Mamba 在合成目标模态图像方面优于现有的基于 CNN 和 Transformer 的方法。

    May, 2024

  • Dimba: Transformer-Mamba 扩散模型

    该论文介绍了 Dimba，一种新的文本到图像扩散模型，它采用了一种独特的混合架构，结合了 Transformer 和 Mamba 元素。

    Jun, 2024

  • VM-DDPM：医学图像合成的视觉曼巴扩散

    基于 SMM-CNN 混合结构的 Vision Mamba DDPM（VM-DDPM）用于医学图像合成，通过多级状态空间块（MSSBlock）、状态空间层（SSLayer）和交叉扫描模块（CSM）等方法，在三个不同规模的数据集上取得最先进的性能。

    May, 2024

  • 一种用于图像融合的局部增强和状态共享的新型状态空间模型

    基于 Mamba 算法的本地增强视觉 Mamba（LEVM）块和状态共享技术的图像融合网络（LE-Mamba）在多光谱和高光谱图像融合数据集上取得了最先进的结果，证明了该方法的有效性。

    Apr, 2024