评估视觉状态空间模型的鲁棒性

Jun, 2024

Towards Evaluating the Robustness of Visual State Space Models

Hashmat Shadab Malik, Fahad Shamshad, Muzammal Naseer, Karthik Nandakumar, Fahad Shahbaz Khan...

TL;DR综合评估了视觉状态空间模型（VSSMs）在各种扰动场景下的稳健性，并与传统的架构如转换器和卷积神经网络进行了比较，发现其在处理复杂视觉破坏方面的优势和局限性，为该领域的未来研究和改进提供了宝贵的见解。

Abstract

vision state space models (VSSMs), a novel architecture that combines the strengths of recurrent neural networks and latent variable models, have demonstrated remarkable performance in visual perception tasks by efficiently capturing long-range dependencies and modeling complex visual

vision state space models robustness adversarial perturbations complex visual corruptions adversarial attacks

发现论文，激发创造

理解用于图像分类的视觉状态空间模型的鲁棒性

通过多个角度对 Visual State Space Model (VMamba) 的鲁棒性进行全面研究，揭示了其在对抗性攻击、一般鲁棒性、梯度及反向传播过程、图像结构变化等方面的独特弱点和防御能力，为促进计算机视觉应用中深度神经网络的能力提供了宝贵的洞见。

Mar, 2024

高效的图像去模糊视觉状态空间模型

本文提出了一种简单而有效的视觉状态空间模型（EVSSM）用于图像去模糊，在图像恢复任务中，相比卷积神经网络（CNNs）和视觉 Transformer（ViTs），EVSSM 相对于其它方法在基准数据集和真实捕捉的图像上表现出色。

May, 2024

VmambaIR：图像修复的视觉状态空间模型

我们提出了 VmambaIR，这是一种综合图像恢复任务的方法，它将线性复杂度的状态空间模型引入其中，通过有效地建模图像信息在各个方向上的流动来克服了状态空间模型的单向建模限制，并在图像去雨、单幅图像超分辨率和实际图像超分辨率等多个图像恢复任务上取得了最先进的性能。

Mar, 2024

具有分形扫描的可扩展视觉状态空间模型

使用分形扫描曲线对图像补丁进行序列化以提高 State Space Models (SSMs) 的性能，同时避免冗余并增强对复杂模式的建模能力。

May, 2024

VMamba：视觉状态空间模型

基于卷积神经网络和视觉变换器，提出了一种名为 Visual State Space Model (VMamba) 的新型体系结构，具有线性复杂度和全局感受野，并在图像分辨率增加时展现出更明显的优势。

Jan, 2024

用于新一代网络替代 Transformer 的状态空间模型：概述

在这篇论文中，我们首次全面回顾了 State Space Model（SSM）作为自注意力基础的 Transformer 模型的特性和优势，并提供了实验比较和分析。此外，我们还研究了 SSM 在自然语言处理和计算机视觉等多个领域的应用，并提出了未来研究的方向，希望能推动 SSM 在理论模型和应用方面的发展。

Apr, 2024

事件相机的状态空间模型

通过引入具有可学习时间尺度参数的状态空间模型（SSM）来处理事件感测器数据，解决了在不同频率下部署模型的挑战，并且与传统 RNN 和 Transformer 模型相比，SSM 模型在事件感测任务中训练速度更快，且在更高频率的测试输入下表现出较小的性能降低。

Feb, 2024

多尺度 VMamba: 层次化视觉状态空间模型

通过分析多次扫描策略在多尺度视觉任务中的成功原因，本研究介绍了 Multi-Scale Vision Mamba（MSVMamba）模型，采用多尺度二维扫描技术并整合了卷积前馈网络（ConvFFN），在有限参数下保留了 State Space Models（SSMs）在视觉任务中的卓越性能。

May, 2024

概率循环状态空间模型

本篇论文提出了一种基于双重随机变分推断和高斯过程的可扩展训练算法，用于可靠地训练完全概率状态空间模型中的潜在状态时间相关性，并在真实世界基准数据集集上评估了所提出的 PR-SSM 的效果与最先进的概率模型学习方法进行了比较

Jan, 2018

VM-UNET-V2 在医学图像分割中重新思考 Vision Mamba UNet

在医学图像分割领域，CNN 和 Transformer 基于模型已经进行了深入研究。然而，CNN 对长距离依赖的建模能力有限，使得充分利用图像内的语义信息变得具有挑战性。另一方面，Transformer 的二次计算复杂性提出了挑战。最近，基于状态空间模型（SSMs）的方法，如 Mamba，被认为是一种有希望的方法。它们不仅在建模长程交互方面表现出卓越性能，而且保持了线性计算复杂性。受到 Mamba 架构的启发，我们提出了 Vision Mamba-UNetV2，引入了 Visual State Space（VSS）块来捕捉广泛的上下文信息，引入 Semantics and Detail Infusion（SDI）来增强低级和高级特征的融合。我们在 ISIC17、ISIC18、CVC-300、CVC-ClinicDB、Kvasir、CVC-ColonDB 和 ETIS-LaribPolypDB 等公共数据集上进行了全面的实验。结果表明，VM-UNetV2 在医学图像分割任务中表现出竞争力。我们的代码可在此网址获得

Mar, 2024