Mar, 2024

点云蟒蛇:基于状态空间模型的点云学习

TL;DR本研究首次展示了基于 Mamba 的点云方法能够超越基于点的方法,Mamba 具备强大的全局建模能力和线性计算复杂度,对点云分析非常具有吸引力。为了更有效地处理 3D 点云数据,我们提出了一种新颖的一致遍历序列化方法,将点云转换为 1D 点序列,并确保序列中相邻的点也是空间上相邻的。一致遍历序列化方法通过排列 x、y 和 z 坐标的顺序产生六种变体,通过这些变体的协同使用,有助于 Mamba 全面观察点云数据。此外,为了更有效地帮助 Mamba 处理不同顺序的点序列,我们引入了点提示的概念,以告知 Mamba 序列的排列规则。最后,我们提出了基于空间坐标映射的位置编码方法,更好地将位置信息注入点云序列中。基于这些改进,我们构建了一种名为 Point Cloud Mamba 的点云网络,它结合了局部建模和全局建模。Point Cloud Mamba 超越了 SOTA 方法 PointNeXt,并在 ScanObjectNN、ModelNet40 和 ShapeNetPart 数据集上取得了新的 SOTA 性能。