Apr, 2024

FusionMamba：基于状态空间模型的高效图像融合

PDF
TL;DR图像融合是通过将具有有限光谱信息的高分辨率图像与具有丰富光谱数据的低分辨率图像相结合，生成高分辨率的多 / 高光谱图像。本文提出了一种名为 FusionMamba 的创新方法，通过在两个 U 型网络中结合 Mamba 块，以一种高效、独立和分级的方式提取空间和光谱特征，进而有效地将空间和光谱信息进行融合，得到了优于其他融合技术的性能，证明了 FusionMamba 的有效性。
image fusiondeep learningstate space modelmambafusionmamba
发现论文，激发创造
  • 一种用于图像融合的局部增强和状态共享的新型状态空间模型

    基于 Mamba 算法的本地增强视觉 Mamba（LEVM）块和状态共享技术的图像融合网络（LE-Mamba）在多光谱和高光谱图像融合数据集上取得了最先进的结果，证明了该方法的有效性。

    Apr, 2024

  • FusionMamba: 多模态图像融合的动态特征增强

    提出了一种基于 FusionMamba 的动态特征增强方法，用于多模式图像融合，具有与 Mamba 相同的性能和全局建模能力，同时降低通道冗余并增强本地增强能力。证明了该模型在各种多模式医学图像融合任务（CT-MRI、PET-MRI、SPECT-MRI）、红外和可见图像融合任务（IR-VIS）以及多模式生物医学图像融合数据集（GFP-PC）中具有泛化能力。

    Apr, 2024

  • S$^2$Mamba：一种面向高光谱遥感图像分类的空间 - 光谱状态空间模型

    通过创新性地提出 S^2Mamba，即一种适用于高光谱图像分类的空间 - 光谱状态空间模型，以发掘空间 - 光谱上下文特征，实现更高效准确的土地覆盖分析。

    Apr, 2024

  • 高光谱图像分类的光谱空间蛇纹石

    该研究基于 Mamba 模型，提出了一种名为 SS-Mamba 的光谱空间分类方法，通过光谱 - 空间令牌生成模块和多个堆叠的光谱 - 空间 Mamba 块实现光谱和空间信息的融合，从而有效地进行高光谱图像分类。该方法在广泛使用的高光谱数据集上取得了与最先进方法相媲美的结果，为高光谱图像分类研究开辟了新的方向。

    Apr, 2024

  • SpectralMamba：高效的高光谱图像分类 Mamba

    SpectralMamba 是一种高效的深度学习框架，结合了状态空间模型来进行高光谱图像分类，通过学习动态掩膜和合并光谱的操作在隐藏状态空间中实现了选择性的响应，同时在计算效率和性能角度上取得了令人满意的成果。

    Apr, 2024

  • DualMamba：一种轻量级的光谱 - 空间蛇形卷积网络用于高光谱图像分类

    提出了一种轻量级双流 Mamba 卷积网络 (DualMamba) 用于高光谱图像分类，通过全局局部光谱空间特征提取和全局局部融合实现了显著的分类准确度和模型参数减少。

    Jun, 2024

  • 3DSS-Mamba: 3D-Spectral-Spatial Mamba 用于高光谱图像分类

    提出了一种基于 3D-Spectral-Spatial Mamba 框架的新方法，用于全局光谱 - 空间关系建模及高效的高光谱影像分类，实验结果表明该方法在 HSI 分类任务中优于现有方法。

    May, 2024

  • 融合短吻鳄的跨模态物体检测

    本文研究通过对改进的 Mamba 与门控机制在隐藏状态空间中关联交叉模态特征，设计了一个融合 Mamba 块（FMB）来将交叉模态特征映射到隐藏状态空间进行交互，从而降低交叉模态特征的差异性并增强融合特征的表征一致性；通过在公共数据集上进行大量实验证明，我们提出的方法在 $m$AP 上超过了 5.9％的 $M^3FD$ 和 4.9％的 FLIR-Aligned 数据集，展现出卓越的目标检测性能。据我们所知，本文首次探索了 Mamba 在跨模态融合中的潜力，并为跨模态目标检测建立了一个新的基线。

    Apr, 2024

  • I2I-Mamba: 通过选择性状态空间建模的多模态医学图像合成

    通过引入选择性状态空间建模 (SSM) 来捕捉远程上下文并保持局部精度，提出了一种新型对抗性模型 I2I-Mamba，该模型在卷积骨干网络的瓶颈中注入通道混合 Mamba (cmMamba) 块，综合报告了多对比度 MRI 和 MRI-CT 协议中缺失图像的完整演示，研究结果表明，I2I-Mamba 在合成目标模态图像方面优于现有的基于 CNN 和 Transformer 的方法。

    May, 2024

  • 计算效率时代：医学图像分析中状态空间模型的综合调查

    该论文通过对 Mamba 模型在医学图像中的应用进行全面回顾，介绍了该模型的架构、分类和未来研究方向。

    Jun, 2024