Jun, 2024

PointABM：Point Cloud 分析中融合双向状态空间模型与多头自注意力

PDF
TL;DR基于状态空间模型（SSM）的 Mamba 与 Transformer 架构相结合的 PointABM 模型，在改善局部特征以提高 3D 点云分析性能方面表现出优越性，并通过引入双向 SSM 框架和自注意机制进一步增强了特征提取能力，实验证明整合 Mamba 与 Transformer 显著提高了 3D 点云分析模型的能力。
发现论文，激发创造
  • PointMamba：一种用于点云分析的简单状态空间模型

    基于状态空间模型 (SSM) 成功在 NLP 任务中进行序列建模的启发，我们提出了具有全局建模和线性复杂度的 PointMamba 框架，通过重新排序策略提供更合理的几何扫描顺序来增强 SSM 的全局建模能力，实验证明我们的 PointMamba 在不同的点云分析数据集上胜过基于 transformer 的对应模型，同时节省了约 44.3% 的参数和 25% 的 FLOPs，展示了构建基础 3D 视觉模型的潜在选择，并为点云分析提供了新的视角。

    Feb, 2024

  • Mamba24/8D: 通过状态空间模型增强点云的全局交互

    通过借鉴最近的状态空间模型在长序列建模方面的潜力，我们引入了基于 SSM（状态空间模型）的架构 Mamba 到点云领域，并提出了 Mamba24/8D，它在线性复杂度下具有强大的全局建模能力。该架构在多个 3D 点云分割任务上取得了最先进的结果，并通过大量实验证实了其有效性。

    Jun, 2024

  • Mamba3D：基于状态空间模型增强 3D 点云分析的本地特征

    通过引入局部几何特征提取机制和双向状态空间模型（bi-SSM），Mamba3D 模型在点云学习中取得了超过 Transformer 的卓越性能、高效性和可扩展性，在多个任务中超越同类模型和并行研究，包括在 ScanObjectNN 任务中从头开始的 92.6% 综合准确性和在 ModelNet40 分类任务中基于单模态预训练达到 95.1% 的准确性，并且具有线性复杂度。

    Apr, 2024

  • PoinTramba：一个用于点云分析的混合 Transformer-Mamba 框架

    通过将 Transformer 和 Mamba 架构相结合，PoinTramba 方法在点云分析领域取得了显著进展，并在 ScanObjectNN、ModelNet40 和 ShapeNetPart 等数据集上展示了优越的性能，从而为该领域建立了新的分析标准。

    May, 2024

  • Mamba：具有选择性状态空间的线性时间序列建模

    基于 Transformer 架构的基础模型凭借其核心注意力模块，驱动着深度学习中大部分令人兴奋的应用。我们发现这种模型的一个关键弱点是其无法进行内容导向的推理，并对此进行了改进，通过让结构状态空间模型（SSMs）参数成为输入的函数来解决离散模态的弱点，该模型在长度可选的维度上选择性地传播或遗忘信息，并且通过在递归模式下设计一种硬件感知并行算法，将这些选择性 SSMs 集成到简化的端到端神经网络架构中。该模型（Mamba）具有快速推断速度（比 Transformers 快 5 倍）和序列长度的线性扩展，并在实际数据上对长达百万长度的序列显示出改进。作为一种基于通用序列模型的支持，Mamba 在语言、音频和基因组等多个模态上实现了最先进的性能。在语言建模中，我们的 Mamba-3B 模型在预训练和下游评估中均优于同样大小的 Transformers，与其两倍大小的模型性能相当。

    Dec, 2023

  • Point Mamba：基于状态空间模型的新型点云骨干网络与八叉树排序策略

    提出了一种基于 SSM 的点云处理骨干网络 Point Mamba，具有因果感知的排序机制，在构建因果依赖关系方面采用基于八叉树的排序策略，通过全局排序点以 Z 序列并保留它们的空间接近度。与基于 transformer 的对应方法相比，我们的方法在 ModelNet40 分类数据集和 ScanNet 语义分割数据集上分别达到了 93.4％的准确率和 75.7 的 mIOU，且 Point Mamba 具有线性复杂度，比基于 transformer 的方法更高效。这表明 SSM 在点云理解中具有巨大潜力。

    Mar, 2024

  • 变压器是 SSM：通过结构化状态空间对偶实现的广义模型和高效算法

    Transformers 与 state-space models（包括 Mamba）存在相关性，通过结构化半可分矩阵的各种分解，我们开发了一个理论连接的丰富框架，证明了这些模型家族之间的联系。基于我们的 state space duality（SSD）框架，我们设计了一种新的架构（Mamba-2），其核心层是 Mamba 的选择性 SSM 的改进，速度提高了 2-8 倍，同时继续与 Transformers 在语言建模方面竞争。

    May, 2024

  • 点云蟒蛇：基于状态空间模型的点云学习

    本研究首次展示了基于 Mamba 的点云方法能够超越基于点的方法，Mamba 具备强大的全局建模能力和线性计算复杂度，对点云分析非常具有吸引力。为了更有效地处理 3D 点云数据，我们提出了一种新颖的一致遍历序列化方法，将点云转换为 1D 点序列，并确保序列中相邻的点也是空间上相邻的。一致遍历序列化方法通过排列 x、y 和 z 坐标的顺序产生六种变体，通过这些变体的协同使用，有助于 Mamba 全面观察点云数据。此外，为了更有效地帮助 Mamba 处理不同顺序的点序列，我们引入了点提示的概念，以告知 Mamba 序列的排列规则。最后，我们提出了基于空间坐标映射的位置编码方法，更好地将位置信息注入点云序列中。基于这些改进，我们构建了一种名为 Point Cloud Mamba 的点云网络，它结合了局部建模和全局建模。Point Cloud Mamba 超越了 SOTA 方法 PointNeXt，并在 ScanObjectNN、ModelNet40 和 ShapeNetPart 数据集上取得了新的 SOTA 性能。

    Mar, 2024

  • nnMamba：使用状态空间模型进行 3D 生物医学图像分割、分类和地标检测

    通过将 State Space Sequence Models (SSMs) 整合到卷积残差块中，nnMamba 架构能够提取局部特征并建模复杂的依赖关系，从而在医学图像分析的一系列挑战性任务中展现出卓越的性能。

    Feb, 2024

  • MambaAD：用于多类无监督异常检测的状态空间模型研究

    应用 Mamba 到多类无监督异常检测，提出了包含预训练编码器和 Mamba 解码器的 MambaAD，通过在多个尺度上引入局部增强状态空间模块 (LSS)，该方法在六个不同的异常检测数据集上展示了具有 SoTA 性能的结果，证实了其有效性。

    Apr, 2024