Mar, 2024

时间机器：长期预测的时间序列价值等于 4 条眼镜蛇

PDF
TL;DRTimeMachine 是一种创新的模型，利用 Mamba 作为状态空间模型来捕捉多变量时间序列数据中的长期依赖关系，同时具有线性可扩展性和小内存占用。TimeMachine 利用时间序列数据的独特属性，在多个尺度上生成显著的上下文提示，并利用一种创新的集成四重 - Mamba 架构统一处理混合通道和独立通道情况，从而在不同尺度上以全局和局部上下文的方式对内容进行有效选择以进行预测。实验结果表明，TimeMachine 在预测准确性、可扩展性和内存效率方面表现出优异的性能，已在基准数据集上进行了广泛验证。
long-term time-series forecastingtimemachinemambastate-space modelmultivariate time series data
发现论文，激发创造
  • 双向 Mamba4TS：用于时间序列预测的双向 Mamba

    提出了一种名为 Bi-Mamba4TS 的双向 Mamba 模型，通过采用补丁技术丰富了局部信息并精细捕捉时间序列的演化模式，同时结合数据集特征选择更合适的建模方法，实验证明该模型在七个真实数据集上相较于现有方法获得了更准确的预测结果。

    Apr, 2024

  • DTMamba：时间序列预测的双孪蛇

    利用 Mamba 模型对时间序列数据预测任务进行了实验，实验结果表明我们的模型表现良好。

    May, 2024

  • 将 Mamba 和 Transformer 整合用于长短程时间序列预测

    在这篇论文中，我们提出了一种混合框架 Mambaformer，该框架在内部结合了 Mamba 和 Transformer 架构，用于长短范围的时间序列预测，并通过比较研究表明，Mambaformer 系列可以在长短范围的时间序列预测问题中胜过 Mamba 和 Transformer。

    Apr, 2024

  • 曼巴在时间序列预测中是否有效？

    本文介绍了两种基于状态空间模型（SSM）的时序预测模型，S-Mamba 和 D-Mamba，它们利用 Mamba 块提取变量之间的相关性，在节省 GPU 内存和训练时间的同时实现了卓越的性能，同时通过大量实验比较了 Mamba 和 Transformer 在时序预测中的潜力，为该领域探索了新的研究方向。

    Mar, 2024

  • TSCMamba：Mamba 与多视图学习相结合的时间序列分类

    我们提出了一种新颖的多视图方法，将频域和时域特征整合起来，为时间序列分类提供互补的上下文。我们的方法将连续小波变换光谱特征与时间卷积或多层感知器特征融合在一起，并利用 Mamba 状态空间模型进行高效和可扩展的序列建模，同时引入一种新颖的扫描方案来更好地建模序列关系。在 10 个标准基准数据集上的实验证明，我们的方法相对于最先进的时间序列分类模型，平均准确率提高了 6.45%。

    Jun, 2024

  • SpoT-Mamba：在时空图上学习长距离依赖关系与选择状态空间

    SpoT-Mamba 是一个新的 STG 预测框架，利用 Mamba 的长程依赖性来生成节点嵌入，通过节点嵌入进行时间扫描以捕捉长期的时空依赖性，并在实际交通预测数据集上展示了其有效性。

    Jun, 2024

  • 时间序列价值 64 词：使用 Transformer 进行长期预测

    本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计，它基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序列，其在所有系列中共享相同的嵌入和 Transformer 权重。PatchTST 可以显著提高长期预测准确性，超越 SOTA Transformer-based models，并在自我监督预训练任务中实现出色的微调性能。

    Nov, 2022

  • C-Mamba: 增强通道关联的状态空间模型用于多变量时间序列预测

    提出了一种名为 C-Mamba 的基于状态空间模型的多变量时间序列预测方法，通过混合通道和通道注意力增强的方式来捕捉跨通道依赖关系，获得了在七个真实世界时间序列数据集上的最先进性能，同时其混合和注意力策略在其他框架中表现出强大的泛化能力。

    Jun, 2024

  • Lag-Llama: 面向时间序列预测的基础模型

    构建时间序列预测的基础模型并研究其缩放行为，我们提出了 Lag-Llama，这是一个通用的单变量概率时间序列预测模型，它是在大量时间序列数据上训练而成的。该模型表现出了良好的零样本预测能力，在未见过的 “超出分布范围” 的时间序列数据上优于监督基线模型。我们使用平滑断裂幂律来拟合和预测模型的缩放行为。开源代码可在此网址获取。

    Oct, 2023

  • Graph-Mamba: 面向具有选择性状态空间的长程图序列建模

    本研究介绍了 Graph-Mamba，通过将 Mamba block 与依赖于输入的节点选择机制进行整合，增强了图网络中的长程上下文建模，从而显著提高了预测性能。通过对十个基准数据集的广泛实验，证明 Graph-Mamba 在长程图预测任务中胜过最先进的方法，且在 FLOPs 和 GPU 内存消耗方面计算成本只占一小部分。

    Feb, 2024