CDMamba: 遥感图像变化检测与 Mamba
基于 Mamba 架构,我们为二值变化检测(BCD)、语义变化检测(SCD)和建筑损伤评估(BDA)任务设计了对应的框架 MambaBCD、MambaSCD 和 MambaBDA,利用 Mamba 编码器进行全局空间上下文信息的学习,并通过三种时空关系建模机制实现时空交互,取得了优于当前基于 CNN 和 Transformer 方法的结果。
Apr, 2024
RSMamba 是基于状态空间模型(SSM)和 Mamba 的高效、硬件感知设计的一种远程感知图像分类的新型架构,它通过动态多路径激活机制增强了模型对非因果数据的建模能力,并在多个远程感知图像分类数据集上展现出卓越的性能,具有成为未来视觉基础模型骨干的潜力。
Mar, 2024
该研究通过引入 Mamba 模型和协同完成模块,提出了一种新型双分支网络 RS3Mamba,用于遥感图像语义分割任务,并在 ISPRS Vaihingen 和 LoveDA Urban 数据集上进行了实验证明其有效性和潜力。
Apr, 2024
提出了一种基于 FusionMamba 的动态特征增强方法,用于多模式图像融合,具有与 Mamba 相同的性能和全局建模能力,同时降低通道冗余并增强本地增强能力。证明了该模型在各种多模式医学图像融合任务(CT-MRI、PET-MRI、SPECT-MRI)、红外和可见图像融合任务(IR-VIS)以及多模式生物医学图像融合数据集(GFP-PC)中具有泛化能力。
Apr, 2024
通过将 State Space Sequence Models (SSMs) 整合到卷积残差块中,nnMamba 架构能够提取局部特征并建模复杂的依赖关系,从而在医学图像分析的一系列挑战性任务中展现出卓越的性能。
Feb, 2024
本文介绍了一种名为 CM-UNet 的方法,该方法以 CNN 为基础提取局部图像特征,并以 Mamba 为基础聚合和整合全局信息,从而有效地实现大规模遥感图像的语义分割。实验证明,CM-UNet 在各种性能指标上优于现有方法。
May, 2024
远程感知图像变化字幕化通过识别多时相遥感图像中的表面变化并用自然语言描述它们,当前的方法通常依赖于编码器 - 解码器结构,并侧重于设计一个复杂的 “颈部” 来处理骨干提取的双时相特征。最近,状态空间模型(SSM),特别是 Mamba,在许多领域展示了出色的性能,这归功于其高效的特征选择建模能力。然而,它们在 RSICC 任务中的潜力尚未被探索。本文将 Mamba 引入到 RSICC 中,并提出了一种名为 RSCaMa(远程感知变化字幕化 Mamba)的新方法。具体而言,我们利用孪生骨干提取双时相特征,然后通过由空间差异引导的 SSM(SD-SSM)和时间逐步旅行的 SSM(TT-SSM)组成的多 CaMa 层进行处理。SD-SSM 利用差异特征来增强变化感知能力,而 TT-SSM 以记号级跨扫描方式促进双时相交互作用。实验证明了 CaMa 层的有效性,并展示出 RSCaMa 的卓越性能以及 Mamba 在 RSICC 任务中的潜力。此外,我们系统地比较了三种语言解码器的效果,包括 Mamba、具有因果关注机制的 GPT 风格解码器以及具有交叉关注机制的 Transformer 解码器。这为未来的 RSICC 研究提供了有价值的见解。代码将可在此链接上找到。
Apr, 2024
基于 Mamba 算法的本地增强视觉 Mamba(LEVM)块和状态共享技术的图像融合网络(LE-Mamba)在多光谱和高光谱图像融合数据集上取得了最先进的结果,证明了该方法的有效性。
Apr, 2024
图像融合是通过将具有有限光谱信息的高分辨率图像与具有丰富光谱数据的低分辨率图像相结合,生成高分辨率的多 / 高光谱图像。本文提出了一种名为 FusionMamba 的创新方法,通过在两个 U 型网络中结合 Mamba 块,以一种高效、独立和分级的方式提取空间和光谱特征,进而有效地将空间和光谱信息进行融合,得到了优于其他融合技术的性能,证明了 FusionMamba 的有效性。
Apr, 2024
远程感知图像中的密集预测任务存在挑战,本研究提出了一种基于远程感知 Mamba(RSM)的模型,利用线性复杂度对全局特征进行建模,以有效处理大尺寸的高空间分辨率远程感知图像,并通过全局建模和多方向扫描提取大尺度空间特征等,实验结果表明该方法在 VHR 远程感知的密集预测任务上取得了最先进的性能。
Apr, 2024