基于 Transformer 架构的基础模型凭借其核心注意力模块，驱动着深度学习中大部分令人兴奋的应用。我们发现这种模型的一个关键弱点是其无法进行内容导向的推理，并对此进行了改进，通过让结构状态空间模型（SSMs）参数成为输入的函数来解决离散模态的弱点，该模型在长度可选的维度上选择性地传播或遗忘信息，并且通过在递归模式下设计一种硬件感知并行算法，将这些选择性 SSMs 集成到简化的端到端神经网络架构中。该模型（Mamba）具有快速推断速度（比 Transformers 快 5 倍）和序列长度的线性扩展，并在实际数据上对长达百万长度的序列显示出改进。作为一种基于通用序列模型的支持，Mamba 在语言、音频和基因组等多个模态上实现了最先进的性能。在语言建模中，我们的 Mamba-3B 模型在预训练和下游评估中均优于同样大小的 Transformers，与其两倍大小的模型性能相当。

Dec, 2023

通过引入选择性状态空间建模 (SSM) 来捕捉远程上下文并保持局部精度，提出了一种新型对抗性模型 I2I-Mamba，该模型在卷积骨干网络的瓶颈中注入通道混合 Mamba (cmMamba) 块，综合报告了多对比度 MRI 和 MRI-CT 协议中缺失图像的完整演示，研究结果表明，I2I-Mamba 在合成目标模态图像方面优于现有的基于 CNN 和 Transformer 的方法。

May, 2024

Transformers 与 state-space models（包括 Mamba）存在相关性，通过结构化半可分矩阵的各种分解，我们开发了一个理论连接的丰富框架，证明了这些模型家族之间的联系。基于我们的 state space duality（SSD）框架，我们设计了一种新的架构（Mamba-2），其核心层是 Mamba 的选择性 SSM 的改进，速度提高了 2-8 倍，同时继续与 Transformers 在语言建模方面竞争。

May, 2024

通过引入基于状态空间模型的 MambaVC，我们在视觉压缩任务中取得了出色的速率失真性能，同时降低了计算和内存开销。

May, 2024

重建退化图像的关键任务在图像处理中非常重要，我们引入了基于通道感知的 U 形曼巴模型，它融合了双状态空间模型（SSM）框架与 U-Net 架构，通过引入空间 SSM 模块和通道 SSM 组件，它能够线性计算的复杂度相对于特征图大小进行全局上下文编码和保留通道相关特征，从而在图像恢复方面优于现有的最先进方法，凸显了整合空间和通道上下文的重要性。

Apr, 2024

该论文通过对 Mamba 模型在医学图像中的应用进行全面回顾，介绍了该模型的架构、分类和未来研究方向。

Jun, 2024

基于轻量级模型开发的先前努力主要集中在 CNN 和 Transformer 基础设计上，但仍面临持久挑战。本研究受到 Mamba 等状态空间模型在语言建模和计算机视觉等多个任务中卓越表现和竞争力的启发，探索了视觉状态空间模型在轻量级模型设计中的潜力，并提出了一种新的高效模型变体 EfficientVMamba，通过有效的跳跃采样集成一种基于空洞的选择性扫描方法，构成旨在利用全局和局部表征特征的构件。此外，我们还调查了 SSM 模块与卷积之间的整合，并引入了一种高效的视觉状态空间块，结合了额外的卷积分支，进一步提高了模型的性能。实验结果表明，EfficientVMamba 降低了计算复杂性，同时在各种视觉任务中取得了有竞争力的结果。例如，我们的 EfficientVMamba-S 在 ImageNet 上对比 1.3G FLOPs 的 Vim-Ti 取得了大幅 5.6% 的准确率提升。代码可在以下链接找到: https://github.com/TerryPei/EfficientVMamba。

Mar, 2024

本文提出了一种新的通用计算机视觉基础模型 Vim，该模型采用双向状态空间模型对图像序列进行标记并压缩视觉表示，并在 ImageNet 分类、COCO 目标检测和 ADE20k 语义分割任务中取得了比 DeiT 等常见视觉转换器更高的性能，同时具有显著提高的计算和内存效率。

Jan, 2024

该研究综述了 Mamba 模型在计算机视觉领域的基本概念和优化方法，并介绍了它们在不同层次的视觉任务中的广泛应用，旨在引起学术界对当前挑战的关注并进一步应用 Mamba 模型于计算机视觉。

Apr, 2024

提出了一种名为 C-Mamba 的基于状态空间模型的多变量时间序列预测方法，通过混合通道和通道注意力增强的方式来捕捉跨通道依赖关系，获得了在七个真实世界时间序列数据集上的最先进性能，同时其混合和注意力策略在其他框架中表现出强大的泛化能力。

Jun, 2024