MTMamba: 基于 Mamba 的多任务稠密场景理解的增强解码器
基于深度序列模型的 U-Mamba 是一种适用于医学图像分割的通用网络,通过融合卷积层的局部特征提取能力与序列模型的长距离依赖捕捉能力,能够自适应不同数据集并在各种任务中取得优于当前基于 CNN 和 Transformer 的分割网络的结果,为医学图像分析中高效建模长距离依赖开辟了新的途径。
Jan, 2024
MambaDepth 是一种针对自监督深度估计任务的新型网络架构,通过组合 U-Net 的有效性和 Mamba 架构的先进功能,结合了 CNN 和 Transformer 模型的优点,能够高效处理长距离依赖关系,提高深度估计精度,并在多个数据集上展现出卓越的性能。
Jun, 2024
SegMamba 是一种新颖的 3D 医学图像分割模型,通过有效地捕捉各个尺度上的全体积特征的远程依赖性,从状态空间模型的角度在全体积特征建模方面胜过基于 Transformer 的方法,保持出色的处理速度,即使是具有 {$64 imes 64 imes 64$} 分辨率的体积特征。在 BraTS2023 数据集上的综合实验证明了 SegMamba 的有效性和高效性。
Jan, 2024
通过借鉴最近的状态空间模型在长序列建模方面的潜力,我们引入了基于 SSM(状态空间模型)的架构 Mamba 到点云领域,并提出了 Mamba24/8D,它在线性复杂度下具有强大的全局建模能力。该架构在多个 3D 点云分割任务上取得了最先进的结果,并通过大量实验证实了其有效性。
Jun, 2024
提出了一种名为 VideoMamba 的基于 Mamba 的视频理解方法,克服了现有 3D 卷积神经网络和视频变换器的限制,通过线性复杂度运算实现了高效的长视频建模,同时展示了在视觉域上的可扩展性、在短期行动识别上的敏感性、在长期视频理解上的优越性以及在多模态背景下的兼容性。
Mar, 2024
本文介绍了一种名为 CM-UNet 的方法,该方法以 CNN 为基础提取局部图像特征,并以 Mamba 为基础聚合和整合全局信息,从而有效地实现大规模遥感图像的语义分割。实验证明,CM-UNet 在各种性能指标上优于现有方法。
May, 2024
提出了一种基于 FusionMamba 的动态特征增强方法,用于多模式图像融合,具有与 Mamba 相同的性能和全局建模能力,同时降低通道冗余并增强本地增强能力。证明了该模型在各种多模式医学图像融合任务(CT-MRI、PET-MRI、SPECT-MRI)、红外和可见图像融合任务(IR-VIS)以及多模式生物医学图像融合数据集(GFP-PC)中具有泛化能力。
Apr, 2024
通过将 State Space Sequence Models (SSMs) 整合到卷积残差块中,nnMamba 架构能够提取局部特征并建模复杂的依赖关系,从而在医学图像分析的一系列挑战性任务中展现出卓越的性能。
Feb, 2024
我们提出了一种名为 Mamba-UNet 的创新架构,该架构将 U-Net 在医学图像分割中的能力与 Mamba 的能力相结合,通过纯粹的 Visual Mamba(VMamba)编码器 - 解码器结构和跳跃连接来捕捉医学图像中的细节和上下文,并显著优于具有相同超参数设置的 UNet 和 Swin-UNet。
Feb, 2024
通过对 Mamba 的可推广长度进行可视化和分析,发现限制来自于训练阶段使用的序列长度,为了解决此限制,引入了一种特别设计给 Mamba 的上下文扩展方法 DeciMamba,通过 S6 层中嵌入的隐藏过滤机制,使得经过训练的模型即使没有额外的训练也能良好地推广,经真实世界的长距离 NLP 任务实验表明,DeciMamba 可以将推广的上下文长度延长到训练过程中看到的长度的 25 倍,而且无需使用额外的计算资源。
Jun, 2024