Samba: 遥感图像的语义分割与状态空间模型
该研究通过引入 Mamba 模型和协同完成模块,提出了一种新型双分支网络 RS3Mamba,用于遥感图像语义分割任务,并在 ISPRS Vaihingen 和 LoveDA Urban 数据集上进行了实验证明其有效性和潜力。
Apr, 2024
RSMamba 是基于状态空间模型(SSM)和 Mamba 的高效、硬件感知设计的一种远程感知图像分类的新型架构,它通过动态多路径激活机制增强了模型对非因果数据的建模能力,并在多个远程感知图像分类数据集上展现出卓越的性能,具有成为未来视觉基础模型骨干的潜力。
Mar, 2024
在医学图像分割领域,CNN 和 Transformer 基于模型已经进行了深入研究。然而,CNN 对长距离依赖的建模能力有限,使得充分利用图像内的语义信息变得具有挑战性。另一方面,Transformer 的二次计算复杂性提出了挑战。最近,基于状态空间模型(SSMs)的方法,如 Mamba,被认为是一种有希望的方法。它们不仅在建模长程交互方面表现出卓越性能,而且保持了线性计算复杂性。受到 Mamba 架构的启发,我们提出了 Vision Mamba-UNetV2,引入了 Visual State Space(VSS)块来捕捉广泛的上下文信息,引入 Semantics and Detail Infusion(SDI)来增强低级和高级特征的融合。我们在 ISIC17、ISIC18、CVC-300、CVC-ClinicDB、Kvasir、CVC-ColonDB 和 ETIS-LaribPolypDB 等公共数据集上进行了全面的实验。结果表明,VM-UNetV2 在医学图像分割任务中表现出竞争力。我们的代码可在此网址获得
Mar, 2024
本研究提出了一种基于状态空间模型的医学图像分割模型 Vision Mamba UNet (VM-UNet),通过引入 Visual State Space (VSS) 块以捕获广泛的上下文信息,并构建了一个不对称的编码器 - 解码器结构。实验结果表明,VM-UNet 在医学图像分割任务中具有竞争力。此外,该模型是首个基于纯 SSM 模型构建的医学图像分割模型,旨在为未来开发更高效、更有效的 SSM 分割系统奠定基础并提供有价值的见解。
Feb, 2024
通过将 State Space Sequence Models (SSMs) 整合到卷积残差块中,nnMamba 架构能够提取局部特征并建模复杂的依赖关系,从而在医学图像分析的一系列挑战性任务中展现出卓越的性能。
Feb, 2024
基于 SMM-CNN 混合结构的 Vision Mamba DDPM(VM-DDPM)用于医学图像合成,通过多级状态空间块(MSSBlock)、状态空间层(SSLayer)和交叉扫描模块(CSM)等方法,在三个不同规模的数据集上取得最先进的性能。
May, 2024
深度学习方法在高分辨率遥感图像的语义分割中扮演重要角色,主要采用卷积神经网络(CNN)和视觉 Transformer(ViT)。然而,CNN 由于有限的感受野而受限,而 ViT 则面临二次复杂度的挑战。最近,Mamba 模型因具有线性复杂性和全局感受野而引发广泛关注。此类任务需要将图像序列化为与 Mamba 模型兼容的序列。许多研究工作探索了能够增强 Mamba 模型对图像理解的扫描策略,但是这些扫描策略的有效性仍不确定。我们通过对 LoveDA、ISPRS Potsdam 和 ISPRS Vaihingen 数据集进行广泛实验,全面地探究了主流扫描方向及其组合对遥感图像的语义分割的影响。结果表明,无论复杂性或所涉及的扫描方向数量如何,没有一种单一的扫描策略优于其他策略。对于高分辨率遥感图像的语义分割,一个简单的单一扫描方向已被证明足够。同时,我们推荐了未来研究的相关方向。
May, 2024
通过使用残差 VSS 模块进行深度上下文特征提取,以及使用 Triplet SSM 在空间和通道维度上融合特征,我们的 TM-UNet 在多个数据集上展示了卓越的分割性能,并且相较于之前的 VM-UNet 减少了三分之一的参数。
Mar, 2024
通过分析多次扫描策略在多尺度视觉任务中的成功原因,本研究介绍了 Multi-Scale Vision Mamba(MSVMamba)模型,采用多尺度二维扫描技术并整合了卷积前馈网络(ConvFFN),在有限参数下保留了 State Space Models(SSMs)在视觉任务中的卓越性能。
May, 2024
本文介绍了一种名为 CM-UNet 的方法,该方法以 CNN 为基础提取局部图像特征,并以 Mamba 为基础聚合和整合全局信息,从而有效地实现大规模遥感图像的语义分割。实验证明,CM-UNet 在各种性能指标上优于现有方法。
May, 2024