May, 2024

重新思考面向事件相机的高效有效的基于点的网络：EventMamba

PDF
TL;DREventMamba 是一个高效和有效的点云框架，通过优化网络结构实现了对时间信息的提取，并在分类和回归任务中表现出与基于帧的方法相媲美的结果，同时具有轻量级设计原则，实现了卓越的效率和效果。
event cameraspoint cloudtemporal information extractioneventmambaefficiency
发现论文，激发创造
  • 点云蟒蛇：基于状态空间模型的点云学习

    本研究首次展示了基于 Mamba 的点云方法能够超越基于点的方法，Mamba 具备强大的全局建模能力和线性计算复杂度，对点云分析非常具有吸引力。为了更有效地处理 3D 点云数据，我们提出了一种新颖的一致遍历序列化方法，将点云转换为 1D 点序列，并确保序列中相邻的点也是空间上相邻的。一致遍历序列化方法通过排列 x、y 和 z 坐标的顺序产生六种变体，通过这些变体的协同使用，有助于 Mamba 全面观察点云数据。此外，为了更有效地帮助 Mamba 处理不同顺序的点序列，我们引入了点提示的概念，以告知 Mamba 序列的排列规则。最后，我们提出了基于空间坐标映射的位置编码方法，更好地将位置信息注入点云序列中。基于这些改进，我们构建了一种名为 Point Cloud Mamba 的点云网络，它结合了局部建模和全局建模。Point Cloud Mamba 超越了 SOTA 方法 PointNeXt，并在 ScanObjectNN、ModelNet40 和 ShapeNetPart 数据集上取得了新的 SOTA 性能。

    Mar, 2024

  • PointMamba：一种用于点云分析的简单状态空间模型

    基于状态空间模型 (SSM) 成功在 NLP 任务中进行序列建模的启发，我们提出了具有全局建模和线性复杂度的 PointMamba 框架，通过重新排序策略提供更合理的几何扫描顺序来增强 SSM 的全局建模能力，实验证明我们的 PointMamba 在不同的点云分析数据集上胜过基于 transformer 的对应模型，同时节省了约 44.3% 的参数和 25% 的 FLOPs，展示了构建基础 3D 视觉模型的潜在选择，并为点云分析提供了新的视角。

    Feb, 2024

  • Mamba24/8D: 通过状态空间模型增强点云的全局交互

    通过借鉴最近的状态空间模型在长序列建模方面的潜力，我们引入了基于 SSM（状态空间模型）的架构 Mamba 到点云领域，并提出了 Mamba24/8D，它在线性复杂度下具有强大的全局建模能力。该架构在多个 3D 点云分割任务上取得了最先进的结果，并通过大量实验证实了其有效性。

    Jun, 2024

  • MAMBA4D: 高效的长序列点云视频理解及解耦空间 - 时间状态空间模型

    基于最近提出的状态空间模型（SSMs）的新型 4D 点云视频理解骨干网络，通过解开原始 4D 序列中的空间和时间，使用新开发的 Intra-frame Spatial Mamba 和 Inter-frame Temporal Mamba 模块建立了点云视频内部和帧间的时空关联，并在人体动作识别和 4D 语义分割任务上证明了该方法的优越性。

    May, 2024

  • Point Mamba：基于状态空间模型的新型点云骨干网络与八叉树排序策略

    提出了一种基于 SSM 的点云处理骨干网络 Point Mamba，具有因果感知的排序机制，在构建因果依赖关系方面采用基于八叉树的排序策略，通过全局排序点以 Z 序列并保留它们的空间接近度。与基于 transformer 的对应方法相比，我们的方法在 ModelNet40 分类数据集和 ScanNet 语义分割数据集上分别达到了 93.4％的准确率和 75.7 的 mIOU，且 Point Mamba 具有线性复杂度，比基于 transformer 的方法更高效。这表明 SSM 在点云理解中具有巨大潜力。

    Mar, 2024

  • 基于点的简单有效网络用于事件相机 6 自由度位姿重定位

    本文介绍了一种简单而有效的基于点云的网络 PEPNet，用于回归六自由度事件摄像机姿态，通过层次结构提取空间和隐含的时间特征，通过 A-Bi-LSTM 提取显式的时间特征，从而在室内和室外数据集上取得了最先进的性能，同时具备轻量级设计版本 PEPNet_tiny 效果与最先进技术相媲美，仅使用 0.5% 的参数。

    Mar, 2024

  • 3DMambaComplete：基于结构化状态空间模型的点云完善探索

    基于 Mamba 框架的 3DMambaComplete 网络通过 Hyperpoints 的选择、分布和形变实现点云完整性，超过了其他点云完整性方法，经定性和定量分析证实。

    Apr, 2024

  • E2PNet：事件到点云的时空表示学习的配准

    2D-3D registration for event cameras is studied using a learning-based method called E2PNet, which employs a novel feature representation network called EP2T. E2PNet outperforms hand-crafted and other learning-based methods, and demonstrates potential for various vision tasks.

    Nov, 2023

  • Mamba-FETrack: 基于状态空间模型的帧事件跟踪

    RGB-Event based tracking framework, Mamba-FETrack, utilizing State Space Model achieves high-performance tracking while reducing computational costs, providing efficiency and effectiveness.

    Apr, 2024

  • SpikePoint: 基于点的有效脉冲神经网络用于事件相机的行为识别

    使用 SpikePoint 结构，利用事件相机与脉冲神经网络相结合的高效能力，在超低功耗应用场景中实现了优秀的动作识别性能。

    Oct, 2023