基于 Transformer 架构的基础模型凭借其核心注意力模块，驱动着深度学习中大部分令人兴奋的应用。我们发现这种模型的一个关键弱点是其无法进行内容导向的推理，并对此进行了改进，通过让结构状态空间模型（SSMs）参数成为输入的函数来解决离散模态的弱点，该模型在长度可选的维度上选择性地传播或遗忘信息，并且通过在递归模式下设计一种硬件感知并行算法，将这些选择性 SSMs 集成到简化的端到端神经网络架构中。该模型（Mamba）具有快速推断速度（比 Transformers 快 5 倍）和序列长度的线性扩展，并在实际数据上对长达百万长度的序列显示出改进。作为一种基于通用序列模型的支持，Mamba 在语言、音频和基因组等多个模态上实现了最先进的性能。在语言建模中，我们的 Mamba-3B 模型在预训练和下游评估中均优于同样大小的 Transformers，与其两倍大小的模型性能相当。

Dec, 2023

该论文通过对 Mamba 模型在医学图像中的应用进行全面回顾，介绍了该模型的架构、分类和未来研究方向。

Jun, 2024

该研究综述了 Mamba 模型在计算机视觉领域的基本概念和优化方法，并介绍了它们在不同层次的视觉任务中的广泛应用，旨在引起学术界对当前挑战的关注并进一步应用 Mamba 模型于计算机视觉。

Apr, 2024

Diffusion Mamba (DiM) is a novel architecture that effectively addresses the computational complexity of traditional diffusion transformers (DiT) in image generation tasks while maintaining linear complexity with respect to sequence length, outperforming existing techniques and establishing a new benchmark for generative models.

May, 2024

本研究介绍了 Graph-Mamba，通过将 Mamba block 与依赖于输入的节点选择机制进行整合，增强了图网络中的长程上下文建模，从而显著提高了预测性能。通过对十个基准数据集的广泛实验，证明 Graph-Mamba 在长程图预测任务中胜过最先进的方法，且在 FLOPs 和 GPU 内存消耗方面计算成本只占一小部分。

Feb, 2024

本文提出了一种新的通用计算机视觉基础模型 Vim，该模型采用双向状态空间模型对图像序列进行标记并压缩视觉表示，并在 ImageNet 分类、COCO 目标检测和 ADE20k 语义分割任务中取得了比 DeiT 等常见视觉转换器更高的性能，同时具有显著提高的计算和内存效率。

Jan, 2024

提出了一种名为 Bi-Mamba4TS 的双向 Mamba 模型，通过采用补丁技术丰富了局部信息并精细捕捉时间序列的演化模式，同时结合数据集特征选择更合适的建模方法，实验证明该模型在七个真实数据集上相较于现有方法获得了更准确的预测结果。

Apr, 2024

基于状态空间模型（SSM）的 Mamba 与 Transformer 架构相结合的 PointABM 模型，在改善局部特征以提高 3D 点云分析性能方面表现出优越性，并通过引入双向 SSM 框架和自注意机制进一步增强了特征提取能力，实验证明整合 Mamba 与 Transformer 显著提高了 3D 点云分析模型的能力。

Jun, 2024

本文介绍了两种基于状态空间模型（SSM）的时序预测模型，S-Mamba 和 D-Mamba，它们利用 Mamba 块提取变量之间的相关性，在节省 GPU 内存和训练时间的同时实现了卓越的性能，同时通过大量实验比较了 Mamba 和 Transformer 在时序预测中的潜力，为该领域探索了新的研究方向。

Mar, 2024

探索了 Mamba 模型与线性注意力 Transformer 之间的相似性和差异性，发现忘记门和块设计是 Mamba 模型成功的核心因素，并通过融合这两个关键设计提出了 Mamba-Like Linear Attention (MLLA) 模型，该模型在图像分类和高分辨率密集预测任务中优于多种视觉任务中的 Mamba 模型，同时具有可并行计算和快速推理速度。

May, 2024