May, 2024

高效的图像去模糊视觉状态空间模型

PDF
TL;DR本文提出了一种简单而有效的视觉状态空间模型（EVSSM）用于图像去模糊，在图像恢复任务中，相比卷积神经网络（CNNs）和视觉 Transformer（ViTs），EVSSM 相对于其它方法在基准数据集和真实捕捉的图像上表现出色。
convolutional neural networksvision transformersimage restorationstate space modelimage deblurring
发现论文，激发创造
  • VmambaIR：图像修复的视觉状态空间模型

    我们提出了 VmambaIR，这是一种综合图像恢复任务的方法，它将线性复杂度的状态空间模型引入其中，通过有效地建模图像信息在各个方向上的流动来克服了状态空间模型的单向建模限制，并在图像去雨、单幅图像超分辨率和实际图像超分辨率等多个图像恢复任务上取得了最先进的性能。

    Mar, 2024

  • VMamba：视觉状态空间模型

    基于卷积神经网络和视觉变换器，提出了一种名为 Visual State Space Model (VMamba) 的新型体系结构，具有线性复杂度和全局感受野，并在图像分辨率增加时展现出更明显的优势。

    Jan, 2024

  • 具有分形扫描的可扩展视觉状态空间模型

    使用分形扫描曲线对图像补丁进行序列化以提高 State Space Models (SSMs) 的性能，同时避免冗余并增强对复杂模式的建模能力。

    May, 2024

  • 基于多尺度结构化状态空间模型的可扩展高效图像恢复

    本研究提出了一种名为 Serpent 的架构，利用序列建模中的最新进展在核心计算模块中应用状态空间模型 (SSMs)，以实现与最先进技术相媲美的重建质量，并且在需要更少的计算量（高达 150 倍的 FLOPS 减少）和更少的 GPU 内存（最多 5 倍）的同时维持一个紧凑的模型尺寸。

    Mar, 2024

  • 评估视觉状态空间模型的鲁棒性

    综合评估了视觉状态空间模型（VSSMs）在各种扰动场景下的稳健性，并与传统的架构如转换器和卷积神经网络进行了比较，发现其在处理复杂视觉破坏方面的优势和局限性，为该领域的未来研究和改进提供了宝贵的见解。

    Jun, 2024

  • 多尺度 VMamba: 层次化视觉状态空间模型

    通过分析多次扫描策略在多尺度视觉任务中的成功原因，本研究介绍了 Multi-Scale Vision Mamba（MSVMamba）模型，采用多尺度二维扫描技术并整合了卷积前馈网络（ConvFFN），在有限参数下保留了 State Space Models（SSMs）在视觉任务中的卓越性能。

    May, 2024

  • 频率增强状态空间模型图像去雨

    该研究引入了状态空间模型（SSM）到雨滴去除中，并提出了一种去除雨滴方法，名为 Deraining Frequency-Enhanced State Space Model（DFSSM）。在该方法中，我们使用了频域处理方法和 SSM 来有效去除产生高强度频率成分的雨滴痕迹，并开发了一种新颖的混合尺度门控卷积块来捕捉不同尺度的退化并控制信息流的传递。最后，实验结果表明，我们的方法胜过现有的最新方法。

    May, 2024

  • 事件相机的状态空间模型

    通过引入具有可学习时间尺度参数的状态空间模型（SSM）来处理事件感测器数据，解决了在不同频率下部署模型的挑战，并且与传统 RNN 和 Transformer 模型相比，SSM 模型在事件感测任务中训练速度更快，且在更高频率的测试输入下表现出较小的性能降低。

    Feb, 2024

  • 激活图像超分辨率中更广阔的区域

    本文介绍了使用 Vision Mamba 模型在单图超分辨率 (SISR) 领域中提高性能的方法，并通过引入 MMA 网络的综合实验分析验证了其竞争力和灵活性，鼓励在图像处理领域中进一步探索利用状态空间模型的潜力。

    Mar, 2024

  • MambaVC：利用选择性状态空间进行学习的视觉压缩

    通过引入基于状态空间模型的 MambaVC，我们在视觉压缩任务中取得了出色的速率失真性能，同时降低了计算和内存开销。

    May, 2024