Feb, 2024

Pan-Mamba: 有效的全色融合方法与状态空间模型

PDF
TL;DR本研究提出一种使用 Mamba 模型进行全局信息建模的新型 pan-sharpening 网络 ——Pan-Mamba，通过轻量级的交叉模态交互和利用内在的跨模态关系，实现高效的信息表示和融合，并在各种数据集上超过了现有方法，在 pan-sharpening 领域取得了卓越的融合结果，是对 Mamba 模型潜力的首次探索和全新的 pan-sharpening 技术前沿的建立。
pan-sharpeningmamba modelcross-modal information exchangefusionstate-of-the-art methods
发现论文，激发创造
  • 一种用于图像融合的局部增强和状态共享的新型状态空间模型

    基于 Mamba 算法的本地增强视觉 Mamba（LEVM）块和状态共享技术的图像融合网络（LE-Mamba）在多光谱和高光谱图像融合数据集上取得了最先进的结果，证明了该方法的有效性。

    Apr, 2024

  • FusionMamba：基于状态空间模型的高效图像融合

    图像融合是通过将具有有限光谱信息的高分辨率图像与具有丰富光谱数据的低分辨率图像相结合，生成高分辨率的多 / 高光谱图像。本文提出了一种名为 FusionMamba 的创新方法，通过在两个 U 型网络中结合 Mamba 块，以一种高效、独立和分级的方式提取空间和光谱特征，进而有效地将空间和光谱信息进行融合，得到了优于其他融合技术的性能，证明了 FusionMamba 的有效性。

    Apr, 2024

  • S$^2$Mamba：一种面向高光谱遥感图像分类的空间 - 光谱状态空间模型

    通过创新性地提出 S^2Mamba，即一种适用于高光谱图像分类的空间 - 光谱状态空间模型，以发掘空间 - 光谱上下文特征，实现更高效准确的土地覆盖分析。

    Apr, 2024

  • Vision Mamba: 模型、应用和挑战综述

    在这篇综述性文章中，我们回顾了 Mamba 模型的起源和核心见解，并将 Mamba 应用于不同的计算机视觉任务。我们对各种图像、视频、点云、多模态等应用进行了分类和组织，为未来在这个快速发展的领域中提供了挑战和研究方向。

    Apr, 2024

  • VideoMamba：高效视频理解的状态空间模型

    提出了一种名为 VideoMamba 的基于 Mamba 的视频理解方法，克服了现有 3D 卷积神经网络和视频变换器的限制，通过线性复杂度运算实现了高效的长视频建模，同时展示了在视觉域上的可扩展性、在短期行动识别上的敏感性、在长期视频理解上的优越性以及在多模态背景下的兼容性。

    Mar, 2024

  • CU-Mamba：用于图像恢复的具有通道学习的选择性状态空间模型

    重建退化图像的关键任务在图像处理中非常重要，我们引入了基于通道感知的 U 形曼巴模型，它融合了双状态空间模型（SSM）框架与 U-Net 架构，通过引入空间 SSM 模块和通道 SSM 组件，它能够线性计算的复杂度相对于特征图大小进行全局上下文编码和保留通道相关特征，从而在图像恢复方面优于现有的最先进方法，凸显了整合空间和通道上下文的重要性。

    Apr, 2024

  • 关于视觉曼巴的调查

    该研究综述了 Mamba 模型在计算机视觉领域的基本概念和优化方法，并介绍了它们在不同层次的视觉任务中的广泛应用，旨在引起学术界对当前挑战的关注并进一步应用 Mamba 模型于计算机视觉。

    Apr, 2024

  • Vision Mamba: 一项综合调查与分类

    Mamba 是一种新型的人工智能架构，基于最新的状态空间模型，具有强大的效率和长距离依赖建模能力，被广泛应用于深度学习中的自然语言处理和视觉领域。本综述研究了 Mamba 在视觉任务和数据类型上的应用，探讨了其前身、最新进展以及对各领域的深远影响。

    May, 2024

  • FusionMamba: 多模态图像融合的动态特征增强

    提出了一种基于 FusionMamba 的动态特征增强方法，用于多模式图像融合，具有与 Mamba 相同的性能和全局建模能力，同时降低通道冗余并增强本地增强能力。证明了该模型在各种多模式医学图像融合任务（CT-MRI、PET-MRI、SPECT-MRI）、红外和可见图像融合任务（IR-VIS）以及多模式生物医学图像融合数据集（GFP-PC）中具有泛化能力。

    Apr, 2024

  • MambaIR：一种基于状态空间模型的简单图像恢复基准方法

    通过引入 Residual State Space Block 作为核心组件，该研究提出了一种名为 MambaIR 的简单而强大的基准模型，利用卷积和通道注意力增强了 vanilla Mamba 的能力，从而利用局部补丁的重复特性和通道交互产生特定于恢复的特征表示。广泛的实验证明了我们方法的优越性，例如，MambaIR 在类似计算成本但具有全局感受野的情况下，比基于 Transformer 的基准模型 SwinIR 提高了 0.36dB。

    Feb, 2024