Mar, 2024

VmambaIR：图像修复的视觉状态空间模型

PDF
TL;DR我们提出了 VmambaIR，这是一种综合图像恢复任务的方法，它将线性复杂度的状态空间模型引入其中，通过有效地建模图像信息在各个方向上的流动来克服了状态空间模型的单向建模限制，并在图像去雨、单幅图像超分辨率和实际图像超分辨率等多个图像恢复任务上取得了最先进的性能。
image restorationcomputer visionstate space modelsomni selective scanvmambair
发现论文，激发创造
  • MambaIR：一种基于状态空间模型的简单图像恢复基准方法

    通过引入 Residual State Space Block 作为核心组件，该研究提出了一种名为 MambaIR 的简单而强大的基准模型，利用卷积和通道注意力增强了 vanilla Mamba 的能力，从而利用局部补丁的重复特性和通道交互产生特定于恢复的特征表示。广泛的实验证明了我们方法的优越性，例如，MambaIR 在类似计算成本但具有全局感受野的情况下，比基于 Transformer 的基准模型 SwinIR 提高了 0.36dB。

    Feb, 2024

  • 高效的图像去模糊视觉状态空间模型

    本文提出了一种简单而有效的视觉状态空间模型（EVSSM）用于图像去模糊，在图像恢复任务中，相比卷积神经网络（CNNs）和视觉 Transformer（ViTs），EVSSM 相对于其它方法在基准数据集和真实捕捉的图像上表现出色。

    May, 2024

  • 多尺度 VMamba: 层次化视觉状态空间模型

    通过分析多次扫描策略在多尺度视觉任务中的成功原因，本研究介绍了 Multi-Scale Vision Mamba（MSVMamba）模型，采用多尺度二维扫描技术并整合了卷积前馈网络（ConvFFN），在有限参数下保留了 State Space Models（SSMs）在视觉任务中的卓越性能。

    May, 2024

  • 视觉曼巴：具有双向状态空间模型的高效视觉表示学习

    本文提出了一种新的通用计算机视觉基础模型 Vim，该模型采用双向状态空间模型对图像序列进行标记并压缩视觉表示，并在 ImageNet 分类、COCO 目标检测和 ADE20k 语义分割任务中取得了比 DeiT 等常见视觉转换器更高的性能，同时具有显著提高的计算和内存效率。

    Jan, 2024

  • 高效 VMamba：轻量级 Mamba 的孔隙选择扫描

    基于轻量级模型开发的先前努力主要集中在 CNN 和 Transformer 基础设计上，但仍面临持久挑战。本研究受到 Mamba 等状态空间模型在语言建模和计算机视觉等多个任务中卓越表现和竞争力的启发，探索了视觉状态空间模型在轻量级模型设计中的潜力，并提出了一种新的高效模型变体 EfficientVMamba，通过有效的跳跃采样集成一种基于空洞的选择性扫描方法，构成旨在利用全局和局部表征特征的构件。此外，我们还调查了 SSM 模块与卷积之间的整合，并引入了一种高效的视觉状态空间块，结合了额外的卷积分支，进一步提高了模型的性能。实验结果表明，EfficientVMamba 降低了计算复杂性，同时在各种视觉任务中取得了有竞争力的结果。例如，我们的 EfficientVMamba-S 在 ImageNet 上对比 1.3G FLOPs 的 Vim-Ti 取得了大幅 5.6% 的准确率提升。代码可在以下链接找到: https://github.com/TerryPei/EfficientVMamba。

    Mar, 2024

  • VMamba：视觉状态空间模型

    基于卷积神经网络和视觉变换器，提出了一种名为 Visual State Space Model (VMamba) 的新型体系结构，具有线性复杂度和全局感受野，并在图像分辨率增加时展现出更明显的优势。

    Jan, 2024

  • VM-UNET-V2 在医学图像分割中重新思考 Vision Mamba UNet

    在医学图像分割领域，CNN 和 Transformer 基于模型已经进行了深入研究。然而，CNN 对长距离依赖的建模能力有限，使得充分利用图像内的语义信息变得具有挑战性。另一方面，Transformer 的二次计算复杂性提出了挑战。最近，基于状态空间模型（SSMs）的方法，如 Mamba，被认为是一种有希望的方法。它们不仅在建模长程交互方面表现出卓越性能，而且保持了线性计算复杂性。受到 Mamba 架构的启发，我们提出了 Vision Mamba-UNetV2，引入了 Visual State Space（VSS）块来捕捉广泛的上下文信息，引入 Semantics and Detail Infusion（SDI）来增强低级和高级特征的融合。我们在 ISIC17、ISIC18、CVC-300、CVC-ClinicDB、Kvasir、CVC-ColonDB 和 ETIS-LaribPolypDB 等公共数据集上进行了全面的实验。结果表明，VM-UNetV2 在医学图像分割任务中表现出竞争力。我们的代码可在此网址获得

    Mar, 2024

  • 激活图像超分辨率中更广阔的区域

    本文介绍了使用 Vision Mamba 模型在单图超分辨率 (SISR) 领域中提高性能的方法，并通过引入 MMA 网络的综合实验分析验证了其竞争力和灵活性，鼓励在图像处理领域中进一步探索利用状态空间模型的潜力。

    Mar, 2024

  • VM-UNet: 医学图像分割的视觉蛇视 UNet

    本研究提出了一种基于状态空间模型的医学图像分割模型 Vision Mamba UNet (VM-UNet)，通过引入 Visual State Space (VSS) 块以捕获广泛的上下文信息，并构建了一个不对称的编码器 - 解码器结构。实验结果表明，VM-UNet 在医学图像分割任务中具有竞争力。此外，该模型是首个基于纯 SSM 模型构建的医学图像分割模型，旨在为未来开发更高效、更有效的 SSM 分割系统奠定基础并提供有价值的见解。

    Feb, 2024

  • CU-Mamba：用于图像恢复的具有通道学习的选择性状态空间模型

    重建退化图像的关键任务在图像处理中非常重要，我们引入了基于通道感知的 U 形曼巴模型，它融合了双状态空间模型（SSM）框架与 U-Net 架构，通过引入空间 SSM 模块和通道 SSM 组件，它能够线性计算的复杂度相对于特征图大小进行全局上下文编码和保留通道相关特征，从而在图像恢复方面优于现有的最先进方法，凸显了整合空间和通道上下文的重要性。

    Apr, 2024