Feb, 2024

Graph-Mamba: 面向具有选择性状态空间的长程图序列建模

PDF
TL;DR本研究介绍了 Graph-Mamba，通过将 Mamba block 与依赖于输入的节点选择机制进行整合，增强了图网络中的长程上下文建模，从而显著提高了预测性能。通过对十个基准数据集的广泛实验，证明 Graph-Mamba 在长程图预测任务中胜过最先进的方法，且在 FLOPs 和 GPU 内存消耗方面计算成本只占一小部分。
发现论文，激发创造
  • Mamba：具有选择性状态空间的线性时间序列建模

    基于 Transformer 架构的基础模型凭借其核心注意力模块，驱动着深度学习中大部分令人兴奋的应用。我们发现这种模型的一个关键弱点是其无法进行内容导向的推理，并对此进行了改进，通过让结构状态空间模型（SSMs）参数成为输入的函数来解决离散模态的弱点，该模型在长度可选的维度上选择性地传播或遗忘信息，并且通过在递归模式下设计一种硬件感知并行算法，将这些选择性 SSMs 集成到简化的端到端神经网络架构中。该模型（Mamba）具有快速推断速度（比 Transformers 快 5 倍）和序列长度的线性扩展，并在实际数据上对长达百万长度的序列显示出改进。作为一种基于通用序列模型的支持，Mamba 在语言、音频和基因组等多个模态上实现了最先进的性能。在语言建模中，我们的 Mamba-3B 模型在预训练和下游评估中均优于同样大小的 Transformers，与其两倍大小的模型性能相当。

    Dec, 2023

  • 关于视觉曼巴的调查

    该研究综述了 Mamba 模型在计算机视觉领域的基本概念和优化方法，并介绍了它们在不同层次的视觉任务中的广泛应用，旨在引起学术界对当前挑战的关注并进一步应用 Mamba 模型于计算机视觉。

    Apr, 2024

  • 基于状态空间模型的图学习：图蟒

    通过选择性的状态空间模型为基础，我们提出了一种新的 GNN 类别，即图 Mamba 网络，并在理论上证明了它的能力，并且实验证明尽管计算成本大大降低，但在长距离、小规模、大规模和异源基准数据集中，GMN 表现出色。

    Feb, 2024

  • PointMamba：一种用于点云分析的简单状态空间模型

    基于状态空间模型 (SSM) 成功在 NLP 任务中进行序列建模的启发，我们提出了具有全局建模和线性复杂度的 PointMamba 框架，通过重新排序策略提供更合理的几何扫描顺序来增强 SSM 的全局建模能力，实验证明我们的 PointMamba 在不同的点云分析数据集上胜过基于 transformer 的对应模型，同时节省了约 44.3% 的参数和 25% 的 FLOPs，展示了构建基础 3D 视觉模型的潜在选择，并为点云分析提供了新的视角。

    Feb, 2024

  • 计算效率时代：医学图像分析中状态空间模型的综合调查

    该论文通过对 Mamba 模型在医学图像中的应用进行全面回顾，介绍了该模型的架构、分类和未来研究方向。

    Jun, 2024

  • MambaLRP: 解释选择性状态空间序列模型

    借助相关性传播的层次和 Mamba 架构的分析，我们提出了 MambaLRP 算法，以增强深度学习模型的可解释性，并取得了多个模型和数据集上的最先进解释性能。

    Jun, 2024

  • Mamba-ND：针对多维数据的选择性状态空间建模

    本文介绍了一种名为 Mamba-ND 的通用设计，将 Mamba 架构扩展到任意多维数据，并通过与其他替代方案的比较实证表明 Mamba-ND 在多个多维基准测试中表现出与最先进方法相竞争的性能。

    Feb, 2024

  • MambaAD：用于多类无监督异常检测的状态空间模型研究

    应用 Mamba 到多类无监督异常检测，提出了包含预训练编码器和 Mamba 解码器的 MambaAD，通过在多个尺度上引入局部增强状态空间模块 (LSS)，该方法在六个不同的异常检测数据集上展示了具有 SoTA 性能的结果，证实了其有效性。

    Apr, 2024

  • SpoT-Mamba：在时空图上学习长距离依赖关系与选择状态空间

    SpoT-Mamba 是一个新的 STG 预测框架，利用 Mamba 的长程依赖性来生成节点嵌入，通过节点嵌入进行时间扫描以捕捉长期的时空依赖性，并在实际交通预测数据集上展示了其有效性。

    Jun, 2024

  • nnMamba：使用状态空间模型进行 3D 生物医学图像分割、分类和地标检测

    通过将 State Space Sequence Models (SSMs) 整合到卷积残差块中，nnMamba 架构能够提取局部特征并建模复杂的依赖关系，从而在医学图像分析的一系列挑战性任务中展现出卓越的性能。

    Feb, 2024