ST-SSMs：交通预测的时空选择性空间模型
这项研究介绍了 ST-MambaSync，它是一个创新的框架，将一个简化的状态空间层与一个流线型的注意力层集成在一起，在处理高维数据（如空间 - 时间数据集）时，它在空间 - 时间预测任务中实现了竞争性的准确率。我们深入研究了注意机制与 Mamba 组件之间的关系，揭示了 Mamba 在残差网络结构中起到类似于注意力的功能。这种对比分析支持了状态空间模型的高效性，阐明了它们在降低计算成本的同时能够提供卓越的性能。
Apr, 2024
SpoT-Mamba 是一个新的 STG 预测框架，利用 Mamba 的长程依赖性来生成节点嵌入，通过节点嵌入进行时间扫描以捕捉长期的时空依赖性，并在实际交通预测数据集上展示了其有效性。
Jun, 2024
本文提出了一种新的空间 - 时间变换网络的范例来改善长期交通预测的准确性，其中使用图神经网络和自注意机制来动态建模交通数据中的有向空间相关性，并利用跨多个时间步骤的长程双向时间依赖性。实验证明，该模型在 Real-world 数据集上预测交通流量方面的性能要好于现有工作。
Jan, 2020
基于选择性状态空间模型，该研究提出了一种名为 STG-Mamba 的时空图学习方法，借助图选择性状态空间块（GS3B）刻画了 STG 网络的动态演化，并引入了 Kalman 滤波图神经网络（KFGN）来提升 GNN 在 STG 数据建模中的能力。大量实证研究表明了 STG-Mamba 在预测性能和计算效率方面的优越性。
Mar, 2024
提出了一种基于空间 - 时间大型语言模型（ST-LLM）的交通预测方法，通过重新定义位置上的时间步长作为标记，并结合空间 - 时间嵌入模块来学习标记的空间位置和全局时间表示，在提供统一的空间和时间信息的基础上，进一步提出了一种部分冻结的 LLM 关注策略，用于捕捉交通预测的空间 - 时间依赖关系。综合实验表明 ST-LLM 在真实交通数据集上优于最先进的模型，同时在少样本和零样本预测场景中也表现出鲁棒性。
Jan, 2024
序列建模是跨多个领域的一个关键领域，包括自然语言处理、语音识别、时间序列预测、音乐生成和生物信息学。历史上，循环神经网络（RNNs）和长短时记忆网络（LSTMs）在机器翻译、命名实体识别等序列建模任务中占主导地位，但转换器的进步改变了这一范式，因为其性能更优越。然而，转换器面临 O (N^2) 注意力复杂度和处理归纳偏差的挑战。各种改进方法已被提出来应对这些问题，其中使用频谱网络或卷积在一些任务上表现良好，但仍然难以处理长序列。状态空间模型（SSMs）已经成为此背景下序列建模范式的有希望的可替代选择，特别是随着 S4 及其变种（如 S4nd、Hippo、Hyena、Diagnol State Spaces（DSS）、Gated State Spaces（GSS）、Linear Recurrent Unit（LRU）、Liquid-S4、Mamba 等）的出现。本综述将基于门控结构、结构体系和循环结构对基础 SSMs 进行分类，还重点介绍了 SSMs 在视觉、视频、音频、语音、语言（特别是长序列建模）、医疗（包括基因组学）、化学（如药物设计）、推荐系统和时间序列分析等领域的不同应用。此外，我们总结了 SSMs 在长序列竞技场（LRA）、WikiText、Glue、Pile、ImageNet、Kinetics-400、sstv2 以及早餐、硬币、LVU 等各种时间序列数据集上的性能。有关 Mamba-360 工作的项目页面可在此网页上找到：https://github.com/badripatro/mamba360。
Apr, 2024
基于 Rough Path Theory，本研究证明了具备选择性机制的随机线性递归在输入控制条件下可产生低维投射的隐藏状态，并阐述了现代选择性状态空间模型的成功和未来 SSM 变体的表达能力。
Feb, 2024
在这篇论文中，我们首次全面回顾了 State Space Model（SSM）作为自注意力基础的 Transformer 模型的特性和优势，并提供了实验比较和分析。此外，我们还研究了 SSM 在自然语言处理和计算机视觉等多个领域的应用，并提出了未来研究的方向，希望能推动 SSM 在理论模型和应用方面的发展。
Apr, 2024
Mamba 是一种新型的人工智能架构，基于最新的状态空间模型，具有强大的效率和长距离依赖建模能力，被广泛应用于深度学习中的自然语言处理和视觉领域。本综述研究了 Mamba 在视觉任务和数据类型上的应用，探讨了其前身、最新进展以及对各领域的深远影响。
May, 2024