DVMSR:用于高效超分辨率的精简视觉黑曼巴
提出了一种用于处理大规模远程感知图像超分辨率的频率辅助 Mamba 框架,通过多级融合结构和可学习的缩放适配器实现了准确的特征融合,相比于现有方法具有更高的峰值信噪比和更低的内存消耗和计算复杂度。
May, 2024
本文介绍了使用 Vision Mamba 模型在单图超分辨率 (SISR) 领域中提高性能的方法,并通过引入 MMA 网络的综合实验分析验证了其竞争力和灵活性,鼓励在图像处理领域中进一步探索利用状态空间模型的潜力。
Mar, 2024
基于 SMM-CNN 混合结构的 Vision Mamba DDPM(VM-DDPM)用于医学图像合成,通过多级状态空间块(MSSBlock)、状态空间层(SSLayer)和交叉扫描模块(CSM)等方法,在三个不同规模的数据集上取得最先进的性能。
May, 2024
我们提出了 VmambaIR,这是一种综合图像恢复任务的方法,它将线性复杂度的状态空间模型引入其中,通过有效地建模图像信息在各个方向上的流动来克服了状态空间模型的单向建模限制,并在图像去雨、单幅图像超分辨率和实际图像超分辨率等多个图像恢复任务上取得了最先进的性能。
Mar, 2024
该研究通过引入 Mamba 模型和协同完成模块,提出了一种新型双分支网络 RS3Mamba,用于遥感图像语义分割任务,并在 ISPRS Vaihingen 和 LoveDA Urban 数据集上进行了实验证明其有效性和潜力。
Apr, 2024
通过分析多次扫描策略在多尺度视觉任务中的成功原因,本研究介绍了 Multi-Scale Vision Mamba(MSVMamba)模型,采用多尺度二维扫描技术并整合了卷积前馈网络(ConvFFN),在有限参数下保留了 State Space Models(SSMs)在视觉任务中的卓越性能。
May, 2024
我们提出了一种名为 GMSR-Net 的轻量级模型,它通过全局接受域和线性计算复杂性特点,使用了多个堆叠的梯度 Mamba 块进行光谱重建,同时在空间和光谱提示上引入了新颖的梯度关注机制。与现有方法相比,GMSR-Net 大幅减少了参数和计算负担,同时实现了最新的性能。
May, 2024
通过基于曼巴的小波变换特征调制模型改进了红外图像超分辨率复原的上下文稀疏目标细节恢复,并证明了基于曼巴的模型在红外图像处理中的巨大潜力。
May, 2024
在医学图像分割领域,CNN 和 Transformer 基于模型已经进行了深入研究。然而,CNN 对长距离依赖的建模能力有限,使得充分利用图像内的语义信息变得具有挑战性。另一方面,Transformer 的二次计算复杂性提出了挑战。最近,基于状态空间模型(SSMs)的方法,如 Mamba,被认为是一种有希望的方法。它们不仅在建模长程交互方面表现出卓越性能,而且保持了线性计算复杂性。受到 Mamba 架构的启发,我们提出了 Vision Mamba-UNetV2,引入了 Visual State Space(VSS)块来捕捉广泛的上下文信息,引入 Semantics and Detail Infusion(SDI)来增强低级和高级特征的融合。我们在 ISIC17、ISIC18、CVC-300、CVC-ClinicDB、Kvasir、CVC-ColonDB 和 ETIS-LaribPolypDB 等公共数据集上进行了全面的实验。结果表明,VM-UNetV2 在医学图像分割任务中表现出竞争力。我们的代码可在此网址获得
Mar, 2024
近年来,随着现代神经网络的进步,光场图像超分辨率(LFSR)取得了显著的进展。然而,这些方法往往在捕捉长距离依赖关系(基于 CNN)或遇到二次计算复杂性(基于 Transformer)方面面临挑战,从而限制了它们的性能。最近,基于状态空间模型(SSM)和选择性扫描机制(S6)的 Mamba 已成为各种视觉任务中传统 CNN 和 Transformer 方法的卓越替代方案,得益于其有效的长距离序列建模能力和线性时间复杂性。因此,将 S6 集成到 LFSR 中变得具有吸引力,特别是考虑到 4D 光场的大量数据量。然而,主要挑战在于设计适用于 4D 光场的适当扫描方法,以有效地对光场特征进行建模。为了解决这个问题,我们对 4D LFs 的信息性 2D 切片使用了 SSMs,以充分探索空间上下文信息、互补的角度信息和结构信息。为了实现这一点,我们精心设计了一个基本的 SSM 块,其特点是一个有效的 SS2D 机制,可以在这些 2D 切片上实现更有效和高效的特征学习。基于上述两个设计,我们进一步介绍了一种基于 SSM 的 LFSR 网络,称为 LFMamba。LF 基准测试的实验结果证明了 LFMamba 的卓越性能。此外,我们还进行了广泛的消融研究,以验证我们提出的方法的功效和泛化能力。我们希望我们的 LFMamba 能够为光场的有效表示学习提供启示。
Jun, 2024