NIMBA:朝着稳健和原则性的点云处理迈进
基于状态空间模型 (SSM) 成功在 NLP 任务中进行序列建模的启发,我们提出了具有全局建模和线性复杂度的 PointMamba 框架,通过重新排序策略提供更合理的几何扫描顺序来增强 SSM 的全局建模能力,实验证明我们的 PointMamba 在不同的点云分析数据集上胜过基于 transformer 的对应模型,同时节省了约 44.3% 的参数和 25% 的FLOPs,展示了构建基础 3D 视觉模型的潜在选择,并为点云分析提供了新的视角。
Feb, 2024
本研究首次展示了基于Mamba的点云方法能够超越基于点的方法,Mamba具备强大的全局建模能力和线性计算复杂度,对点云分析非常具有吸引力。为了更有效地处理3D点云数据,我们提出了一种新颖的一致遍历序列化方法,将点云转换为1D点序列,并确保序列中相邻的点也是空间上相邻的。一致遍历序列化方法通过排列x、y和z坐标的顺序产生六种变体,通过这些变体的协同使用,有助于Mamba全面观察点云数据。此外,为了更有效地帮助Mamba处理不同顺序的点序列,我们引入了点提示的概念,以告知Mamba序列的排列规则。最后,我们提出了基于空间坐标映射的位置编码方法,更好地将位置信息注入点云序列中。基于这些改进,我们构建了一种名为Point Cloud Mamba的点云网络,它结合了局部建模和全局建模。Point Cloud Mamba超越了SOTA方法PointNeXt,并在ScanObjectNN、ModelNet40和ShapeNetPart数据集上取得了新的SOTA性能。
Mar, 2024
提出了一种基于SSM的点云处理骨干网络Point Mamba,具有因果感知的排序机制,在构建因果依赖关系方面采用基于八叉树的排序策略,通过全局排序点以Z序列并保留它们的空间接近度。与基于transformer的对应方法相比,我们的方法在ModelNet40分类数据集和ScanNet语义分割数据集上分别达到了93.4%的准确率和75.7的mIOU,且Point Mamba具有线性复杂度,比基于transformer的方法更高效。这表明SSM在点云理解中具有巨大潜力。
Mar, 2024
通过引入局部几何特征提取机制和双向状态空间模型(bi-SSM),Mamba3D模型在点云学习中取得了超过Transformer的卓越性能、高效性和可扩展性,在多个任务中超越同类模型和并行研究,包括在ScanObjectNN任务中从头开始的92.6%综合准确性和在ModelNet40分类任务中基于单模态预训练达到95.1%的准确性,并且具有线性复杂度。
Apr, 2024
Mamba是一种新型的人工智能架构,基于最新的状态空间模型,具有强大的效率和长距离依赖建模能力,被广泛应用于深度学习中的自然语言处理和视觉领域。本综述研究了Mamba在视觉任务和数据类型上的应用,探讨了其前身、最新进展以及对各领域的深远影响。
May, 2024
基于最近提出的状态空间模型(SSMs)的新型4D点云视频理解骨干网络,通过解开原始4D序列中的空间和时间,使用新开发的Intra-frame Spatial Mamba和Inter-frame Temporal Mamba模块建立了点云视频内部和帧间的时空关联,并在人体动作识别和4D语义分割任务上证明了该方法的优越性。
May, 2024
基于状态空间模型(SSM)的Mamba与Transformer架构相结合的PointABM模型,在改善局部特征以提高3D点云分析性能方面表现出优越性,并通过引入双向SSM框架和自注意机制进一步增强了特征提取能力,实验证明整合Mamba与Transformer显著提高了3D点云分析模型的能力。
Jun, 2024
通过借鉴最近的状态空间模型在长序列建模方面的潜力,我们引入了基于SSM(状态空间模型)的架构Mamba到点云领域,并提出了Mamba24/8D,它在线性复杂度下具有强大的全局建模能力。该架构在多个3D点云分割任务上取得了最先进的结果,并通过大量实验证实了其有效性。
Jun, 2024
本研究针对点云分割中存在的性能瓶颈,提出了一种新颖的架构MEEPO。该架构结合了空间局部性与强大的上下文理解能力,解决了原始Mamba在点云处理中的因果卷积及单向扫描策略带来的问题,从而实现了比目前最佳方法PTv3提升0.8 mIoU,并在速度和内存效率方面有显著改善。
Oct, 2024