通过将 Transformer 与多实例学习（MIL）框架结合使用整张切片图像（WSIs），我们提出了一种 MamMIL 框架，首次将选择性结构状态空间模型（即 Mamba）与 MIL 结合起来，实现了对实例依赖性的建模并保持了线性复杂性。在两个数据集上的实验证明，MamMIL 可以以比基于 Transformer 的最先进的 MIL 框架更小的内存占用来实现先进的分类性能。

Mar, 2024

借助相关性传播的层次和 Mamba 架构的分析，我们提出了 MambaLRP 算法，以增强深度学习模型的可解释性，并取得了多个模型和数据集上的最先进解释性能。

Jun, 2024

该论文通过对 Mamba 模型在医学图像中的应用进行全面回顾，介绍了该模型的架构、分类和未来研究方向。

Jun, 2024

通过提出的基于保留机制的 RetMIL 方法，实现了对组织病理学全幻灯片图像的分析，同时在性能和计算开销方面取得了显著的提升。

Mar, 2024

通过多模态学习，结合病理图像和基因组数据，可以显著提高生存预测的准确性。本研究提出了一种多粒度多模态交互的结构化状态空间模型（SurvMamba），用于生存预测。通过 Hierarchical Interaction Mamba（HIM）模块实现高效的模态内部交互以捕捉更详细的局部特征和丰富的全局表示。同时，采用 Interaction Fusion Mamba（IFM）模块进行级联的模态间交互融合，提供更全面的特征用于生存预测。在五个 TCGA 数据集上的全面评估表明，SurvMamba 在性能和计算成本方面优于其他现有方法。

Apr, 2024

本研究介绍了 Graph-Mamba，通过将 Mamba block 与依赖于输入的节点选择机制进行整合，增强了图网络中的长程上下文建模，从而显著提高了预测性能。通过对十个基准数据集的广泛实验，证明 Graph-Mamba 在长程图预测任务中胜过最先进的方法，且在 FLOPs 和 GPU 内存消耗方面计算成本只占一小部分。

Feb, 2024

基于 Transformer 架构的基础模型凭借其核心注意力模块，驱动着深度学习中大部分令人兴奋的应用。我们发现这种模型的一个关键弱点是其无法进行内容导向的推理，并对此进行了改进，通过让结构状态空间模型（SSMs）参数成为输入的函数来解决离散模态的弱点，该模型在长度可选的维度上选择性地传播或遗忘信息，并且通过在递归模式下设计一种硬件感知并行算法，将这些选择性 SSMs 集成到简化的端到端神经网络架构中。该模型（Mamba）具有快速推断速度（比 Transformers 快 5 倍）和序列长度的线性扩展，并在实际数据上对长达百万长度的序列显示出改进。作为一种基于通用序列模型的支持，Mamba 在语言、音频和基因组等多个模态上实现了最先进的性能。在语言建模中，我们的 Mamba-3B 模型在预训练和下游评估中均优于同样大小的 Transformers，与其两倍大小的模型性能相当。

Dec, 2023

利用创新的 Mamba-in-Mamba (MiM) 架构和利用 State Space Model (SSM) 的首次尝试，本研究提出了用于高光谱图像分类的 MiM 模型，通过改进的特征生成和集中方法以及改进的解码效率，优于现有基线和最先进方法，展示了其在高光谱应用中的效力和潜力。

May, 2024

该研究综述了 Mamba 模型在计算机视觉领域的基本概念和优化方法，并介绍了它们在不同层次的视觉任务中的广泛应用，旨在引起学术界对当前挑战的关注并进一步应用 Mamba 模型于计算机视觉。

Apr, 2024

将动态实例采样和强化学习集成到一个统一的框架中，形成一种新的动态策略实例选择方案，以改进实例选择和特征聚合，用于更好和更可靠的决策制定。

Mar, 2024