Mar, 2024

RSMamba：基于状态空间模型的遥感图像分类

PDF
TL;DRRSMamba 是基于状态空间模型（SSM）和 Mamba 的高效、硬件感知设计的一种远程感知图像分类的新型架构，它通过动态多路径激活机制增强了模型对非因果数据的建模能力，并在多个远程感知图像分类数据集上展现出卓越的性能，具有成为未来视觉基础模型骨干的潜力。
remote sensing image classificationconvolutional neural networkstransformersstate space modelmamba
发现论文，激发创造
  • RS3Mamba: 对遥感图像语义分割的视觉状态空间模型

    该研究通过引入 Mamba 模型和协同完成模块，提出了一种新型双分支网络 RS3Mamba，用于遥感图像语义分割任务，并在 ISPRS Vaihingen 和 LoveDA Urban 数据集上进行了实验证明其有效性和潜力。

    Apr, 2024

  • 大型遥感影像密集预测的 RS-Mamba

    远程感知图像中的密集预测任务存在挑战，本研究提出了一种基于远程感知 Mamba（RSM）的模型，利用线性复杂度对全局特征进行建模，以有效处理大尺寸的高空间分辨率远程感知图像，并通过全局建模和多方向扫描提取大尺度空间特征等，实验结果表明该方法在 VHR 远程感知的密集预测任务上取得了最先进的性能。

    Apr, 2024

  • RSCaMa：带有状态空间模型的遥感图像变化描述

    远程感知图像变化字幕化通过识别多时相遥感图像中的表面变化并用自然语言描述它们，当前的方法通常依赖于编码器 - 解码器结构，并侧重于设计一个复杂的 “颈部” 来处理骨干提取的双时相特征。最近，状态空间模型（SSM），特别是 Mamba，在许多领域展示了出色的性能，这归功于其高效的特征选择建模能力。然而，它们在 RSICC 任务中的潜力尚未被探索。本文将 Mamba 引入到 RSICC 中，并提出了一种名为 RSCaMa（远程感知变化字幕化 Mamba）的新方法。具体而言，我们利用孪生骨干提取双时相特征，然后通过由空间差异引导的 SSM（SD-SSM）和时间逐步旅行的 SSM（TT-SSM）组成的多 CaMa 层进行处理。SD-SSM 利用差异特征来增强变化感知能力，而 TT-SSM 以记号级跨扫描方式促进双时相交互作用。实验证明了 CaMa 层的有效性，并展示出 RSCaMa 的卓越性能以及 Mamba 在 RSICC 任务中的潜力。此外，我们系统地比较了三种语言解码器的效果，包括 Mamba、具有因果关注机制的 GPT 风格解码器以及具有交叉关注机制的 Transformer 解码器。这为未来的 RSICC 研究提供了有价值的见解。代码将可在此链接上找到。

    Apr, 2024

  • ChangeMamba: 遥感变化检测与时空状态空间模型

    基于 Mamba 架构，我们为二值变化检测（BCD）、语义变化检测（SCD）和建筑损伤评估（BDA）任务设计了对应的框架 MambaBCD、MambaSCD 和 MambaBDA，利用 Mamba 编码器进行全局空间上下文信息的学习，并通过三种时空关系建模机制实现时空交互，取得了优于当前基于 CNN 和 Transformer 方法的结果。

    Apr, 2024

  • Samba: 遥感图像的语义分割与状态空间模型

    该研究提出了一种针对高分辨率遥感图像的语义分割框架，名为 Samba，其采用编码器 - 解码器架构，使用 Samba 块作为编码器来高效地提取多层语义信息，以及 UperNet 作为解码器。在 LoveDA 数据集上的评估结果表明，Samba 在 LoveDA 上取得了前所未有的性能，为 Mamba 技术在这一特定应用中的性能设定了新的基准。

    Apr, 2024

  • nnMamba：使用状态空间模型进行 3D 生物医学图像分割、分类和地标检测

    通过将 State Space Sequence Models (SSMs) 整合到卷积残差块中，nnMamba 架构能够提取局部特征并建模复杂的依赖关系，从而在医学图像分析的一系列挑战性任务中展现出卓越的性能。

    Feb, 2024

  • S$^2$Mamba：一种面向高光谱遥感图像分类的空间 - 光谱状态空间模型

    通过创新性地提出 S^2Mamba，即一种适用于高光谱图像分类的空间 - 光谱状态空间模型，以发掘空间 - 光谱上下文特征，实现更高效准确的土地覆盖分析。

    Apr, 2024

  • 3DSS-Mamba: 3D-Spectral-Spatial Mamba 用于高光谱图像分类

    提出了一种基于 3D-Spectral-Spatial Mamba 框架的新方法，用于全局光谱 - 空间关系建模及高效的高光谱影像分类，实验结果表明该方法在 HSI 分类任务中优于现有方法。

    May, 2024

  • 计算效率时代：医学图像分析中状态空间模型的综合调查

    该论文通过对 Mamba 模型在医学图像中的应用进行全面回顾，介绍了该模型的架构、分类和未来研究方向。

    Jun, 2024

  • CU-Mamba：用于图像恢复的具有通道学习的选择性状态空间模型

    重建退化图像的关键任务在图像处理中非常重要，我们引入了基于通道感知的 U 形曼巴模型，它融合了双状态空间模型（SSM）框架与 U-Net 架构，通过引入空间 SSM 模块和通道 SSM 组件，它能够线性计算的复杂度相对于特征图大小进行全局上下文编码和保留通道相关特征，从而在图像恢复方面优于现有的最先进方法，凸显了整合空间和通道上下文的重要性。

    Apr, 2024