通过引入 EHRMamba 和多任务提示微调（MTF）方法，此研究提出了一种基于 Mamba 架构的稳健基础模型，该模型具有较低的计算成本和较长的上下文长度，并且能够同时学习多个临床任务，从而在电子健康记录领域取得了重大突破。

May, 2024

基于深度序列模型的 U-Mamba 是一种适用于医学图像分割的通用网络，通过融合卷积层的局部特征提取能力与序列模型的长距离依赖捕捉能力，能够自适应不同数据集并在各种任务中取得优于当前基于 CNN 和 Transformer 的分割网络的结果，为医学图像分析中高效建模长距离依赖开辟了新的途径。

Jan, 2024

利用创新的 Mamba-in-Mamba (MiM) 架构和利用 State Space Model (SSM) 的首次尝试，本研究提出了用于高光谱图像分类的 MiM 模型，通过改进的特征生成和集中方法以及改进的解码效率，优于现有基线和最先进方法，展示了其在高光谱应用中的效力和潜力。

May, 2024

基于 Transformer 架构的基础模型凭借其核心注意力模块，驱动着深度学习中大部分令人兴奋的应用。我们发现这种模型的一个关键弱点是其无法进行内容导向的推理，并对此进行了改进，通过让结构状态空间模型（SSMs）参数成为输入的函数来解决离散模态的弱点，该模型在长度可选的维度上选择性地传播或遗忘信息，并且通过在递归模式下设计一种硬件感知并行算法，将这些选择性 SSMs 集成到简化的端到端神经网络架构中。该模型（Mamba）具有快速推断速度（比 Transformers 快 5 倍）和序列长度的线性扩展，并在实际数据上对长达百万长度的序列显示出改进。作为一种基于通用序列模型的支持，Mamba 在语言、音频和基因组等多个模态上实现了最先进的性能。在语言建模中，我们的 Mamba-3B 模型在预训练和下游评估中均优于同样大小的 Transformers，与其两倍大小的模型性能相当。

Dec, 2023

SegMamba 是一种新颖的 3D 医学图像分割模型，通过有效地捕捉各个尺度上的全体积特征的远程依赖性，从状态空间模型的角度在全体积特征建模方面胜过基于 Transformer 的方法，保持出色的处理速度，即使是具有 {$64 imes 64 imes 64$} 分辨率的体积特征。在 BraTS2023 数据集上的综合实验证明了 SegMamba 的有效性和高效性。

Jan, 2024

通过分析多次扫描策略在多尺度视觉任务中的成功原因，本研究介绍了 Multi-Scale Vision Mamba（MSVMamba）模型，采用多尺度二维扫描技术并整合了卷积前馈网络（ConvFFN），在有限参数下保留了 State Space Models（SSMs）在视觉任务中的卓越性能。

May, 2024

提出了一种基于 State Space Models 的 Multi-Head Scan (MHS) 模块，通过 1D selective scan 在 2D 图像空间内构建视觉特征，结合了 Scan Route Attention (SRA) 机制来提高模块的复杂结构辨识能力，并在实验证明了该方法在性能上的显著改善与参数减少。

Jun, 2024

为了解决医学数据的复杂性和异质性所带来的挑战，我们引入了 HoneyBee，一个可扩展的模块化框架，用于构建多模态肿瘤学数据集，通过使用基础模型生成代表性嵌入。该框架整合了包括临床记录、影像数据和患者结果在内的各种数据模态，利用数据预处理技术和基于 Transformer 的架构生成能够捕捉原始医学数据中的重要特征和关系的嵌入。生成的嵌入使用 Hugging Face datasets 和 PyTorch dataloaders 以结构化格式存储，以方便访问。矢量数据库可实现高效的查询和检索，适用于机器学习应用。我们通过评估嵌入的质量和代表性来证明 HoneyBee 的有效性。该框架旨在可扩展到其他医学领域，并旨在通过提供高质量的、机器学习可用的数据集来加速肿瘤学研究。HoneyBee 是一个持续开源的项目，代码、数据集和模型可在项目代码库中获取。

May, 2024

该论文通过对 Mamba 模型在医学图像中的应用进行全面回顾，介绍了该模型的架构、分类和未来研究方向。

Jun, 2024

应用 Mamba 的 State-Space 模型，通过引入一种名为 Zigzag Mamba 的方法来解决视觉数据生成中的缺陷，提升了速度和内存利用率，并将其与 Stochastic Interpolant 框架相结合以研究模型在大分辨率视觉数据集上的可扩展性。

Mar, 2024