Mar, 2024

STG-Mamba: 通过选择性状态空间模型进行时空图学习

PDF
TL;DR基于选择性状态空间模型，该研究提出了一种名为 STG-Mamba 的时空图学习方法，借助图选择性状态空间块（GS3B）刻画了 STG 网络的动态演化，并引入了 Kalman 滤波图神经网络（KFGN）来提升 GNN 在 STG 数据建模中的能力。大量实证研究表明了 STG-Mamba 在预测性能和计算效率方面的优越性。
spatial-temporal graphselective state space modelsstg-mambagraph selective state space blockkalman filtering graph neural networks
发现论文，激发创造
  • SpoT-Mamba：在时空图上学习长距离依赖关系与选择状态空间

    SpoT-Mamba 是一个新的 STG 预测框架，利用 Mamba 的长程依赖性来生成节点嵌入，通过节点嵌入进行时间扫描以捕捉长期的时空依赖性，并在实际交通预测数据集上展示了其有效性。

    Jun, 2024

  • HeteGraph-Mamba: 基于选择性状态空间模型的异构图学习

    我们提出了一种异构图曼巴网络 (HGMN)，它是利用选择性状态空间模型 (SSSMs) 进行异构图学习的首次探索。相比文献，我们的 HGMN 克服了两个主要挑战：(i) 捕捉异构节点之间的长程依赖和 (ii) 将 SSSMs 针对异构图数据进行适应。我们的主要贡献是提出了一个通用的图结构，可以解决现实场景中的异构节点，并进行高效的流程。在方法上，我们引入了一种两级高效的标记化方法，首先在相同节点类型内捕捉长程依赖，然后在所有节点类型之间进行捕捉。在实证方面，我们在异构基准测试上将我们的框架与其他 19 个最先进的方法进行了比较。广泛的比较表明，我们的框架在准确性和效率维度上表现优于其他方法。

    May, 2024

  • 基于状态空间模型的图学习：图蟒

    通过选择性的状态空间模型为基础，我们提出了一种新的 GNN 类别，即图 Mamba 网络，并在理论上证明了它的能力，并且实验证明尽管计算成本大大降低，但在长距离、小规模、大规模和异源基准数据集中，GMN 表现出色。

    Feb, 2024

  • ST-SSMs：交通预测的时空选择性空间模型

    准确高效的交通预测对智能交通系统的规划、管理和控制至关重要。本文介绍了一种创新的交通流预测方法，即空间 - 时间选择性状态空间模型（ST-SSMs），采用了创新的 ST-Mamba 块，可以在较少的计算成本下实现良好的预测准确性。通过对多样化的真实数据集进行严格测试，ST-SSMs 模型在预测准确性和计算简易性方面呈现出异常的改进，为交通流预测领域树立了新的基准。

    Apr, 2024

  • Graph-Mamba: 面向具有选择性状态空间的长程图序列建模

    本研究介绍了 Graph-Mamba，通过将 Mamba block 与依赖于输入的节点选择机制进行整合，增强了图网络中的长程上下文建模，从而显著提高了预测性能。通过对十个基准数据集的广泛实验，证明 Graph-Mamba 在长程图预测任务中胜过最先进的方法，且在 FLOPs 和 GPU 内存消耗方面计算成本只占一小部分。

    Feb, 2024

  • DGMamba: 通过广义状态空间模型实现域泛化

    该研究提出了一种名为 DGMamba 的新型域泛化框架，具有对未知领域的强大普适性和全局感受野以及高效的线性复杂度，通过引入 HSS 和 SPR 两个核心组件来改进分布偏移问题；其中，HSS 减少了与特定领域特征相关的隐藏状态对输出预测的影响，而 SPR 旨在通过重新排列图像内的非语义补丁，并通过领域之间的补丁融合来规范化 Mamba。在四个常用的域泛化基准测试中进行的广泛实验证明，DGMamba 相比于现有模型取得了卓越的结果。

    Apr, 2024

  • 决策猛蛇：一种具有自我演进正则化的离线强化学习多粒度状态空间模型

    决策曼巴（DM）是一种新颖的多粒度状态空间模型（SSM），用于处理条件序列建模和 transformer 架构在离线强化学习（RL）任务中的应用。DM 通过使用曼巴架构明确地建模历史隐藏状态来提取时间信息，并通过细粒度 SSM 模块捕捉状态 - 动作 - 返回三元组之间的关系，从而进行了离线 RL 的定制设计。此外，通过使用渐进正则化来提出自我进化策略，以减轻噪声轨迹导致的过拟合问题。大量的任务实验表明，DM 明显优于其他基准模型。

    Jun, 2024

  • ST-MambaSync：高陡交通预测的 Mamba 结构与时空变换器融合

    这项研究介绍了 ST-MambaSync，它是一个创新的框架，将一个简化的状态空间层与一个流线型的注意力层集成在一起，在处理高维数据（如空间 - 时间数据集）时，它在空间 - 时间预测任务中实现了竞争性的准确率。我们深入研究了注意机制与 Mamba 组件之间的关系，揭示了 Mamba 在残差网络结构中起到类似于注意力的功能。这种对比分析支持了状态空间模型的高效性，阐明了它们在降低计算成本的同时能够提供卓越的性能。

    Apr, 2024

  • 深度选择状态空间模型的理论基础

    基于 Rough Path Theory，本研究证明了具备选择性机制的随机线性递归在输入控制条件下可产生低维投射的隐藏状态，并阐述了现代选择性状态空间模型的成功和未来 SSM 变体的表达能力。

    Feb, 2024

  • S$^2$Mamba：一种面向高光谱遥感图像分类的空间 - 光谱状态空间模型

    通过创新性地提出 S^2Mamba，即一种适用于高光谱图像分类的空间 - 光谱状态空间模型，以发掘空间 - 光谱上下文特征，实现更高效准确的土地覆盖分析。

    Apr, 2024