曼巴与变压器的整合——用于天气动态的长短期时间序列预测的MAT

Sep, 2024

曼巴与变压器的整合——用于天气动态的长短期时间序列预测的MAT

Integration of Mamba and Transformer -- MAT for Long-Short Range Time Series Forecasting with Application to Weather Dynamics

HTML

PDF

Wenqing Zhang, Junming Huang, Ruotong Wang, Changsong Wei, Wenqian Huang...

TL;DR本研究针对深度学习模型在长短期时间序列预测中的局限性，提出了一种新的方法MAT，结合了曼巴模型的长程依赖能力和变压器模型的短程特性。实验证明，MAT在预测准确性、可扩展性和内存效率方面优于现有方法，能够更好地捕捉多变量时间序列中的独特依赖关系和演变模式。

Abstract

Long-short range Time Series Forecasting is essential for predicting future trends and patterns over extended periods. While deep learning models such as Transformers have made significant strides in advancing Time Seri

发现论文，激发创造

时间机器：长期预测的时间序列价值等于4条眼镜蛇

TimeMachine是一种创新的模型，利用Mamba作为状态空间模型来捕捉多变量时间序列数据中的长期依赖关系，同时具有线性可扩展性和小内存占用。TimeMachine利用时间序列数据的独特属性，在多个尺度上生成显著的上下文提示，并利用一种创新的集成四重-Mamba架构统一处理混合通道和独立通道情况，从而在不同尺度上以全局和局部上下文的方式对内容进行有效选择以进行预测。实验结果表明，TimeMachine在预测准确性、可扩展性和内存效率方面表现出优异的性能，已在基准数据集上进行了广泛验证。

Mar, 2024

曼巴在时间序列预测中是否有效？

本文介绍了两种基于状态空间模型（SSM）的时序预测模型，S-Mamba和D-Mamba，它们利用Mamba块提取变量之间的相关性，在节省GPU内存和训练时间的同时实现了卓越的性能，同时通过大量实验比较了Mamba和Transformer在时序预测中的潜力，为该领域探索了新的研究方向。

Mar, 2024

将Mamba和Transformer整合用于长短程时间序列预测

在这篇论文中，我们提出了一种混合框架Mambaformer，该框架在内部结合了Mamba和Transformer架构，用于长短范围的时间序列预测，并通过比较研究表明，Mambaformer系列可以在长短范围的时间序列预测问题中胜过Mamba和Transformer。

Apr, 2024

双向Mamba4TS：用于时间序列预测的双向Mamba

提出了一种名为Bi-Mamba4TS的双向Mamba模型，通过采用补丁技术丰富了局部信息并精细捕捉时间序列的演化模式，同时结合数据集特征选择更合适的建模方法，实验证明该模型在七个真实数据集上相较于现有方法获得了更准确的预测结果。

Apr, 2024

C-Mamba: 增强通道关联的状态空间模型用于多变量时间序列预测

提出了一种名为C-Mamba的基于状态空间模型的多变量时间序列预测方法，通过混合通道和通道注意力增强的方式来捕捉跨通道依赖关系，获得了在七个真实世界时间序列数据集上的最先进性能，同时其混合和注意力策略在其他框架中表现出强大的泛化能力。

Jun, 2024

MetMamba：基于时空Mamba模型的区域天气预测

本研究解决了局部区域建模和天气预测骨干模型不足的问题。提出的MetMamba模型在现有状态空间模型Mamba的基础上，展现出优于传统注意力机制和神经算子的显著性能提升。研究结果表明，通过与全球主模型的联合训练，可以有效实现深度学习的区域建模。

Aug, 2024

MetMamba：区域天气预测的时空Mamba模型

本研究解决了区域天气预测中的有限区域建模和优化骨干网络的问题。提出的MetMamba模型在传统注意力机制和神经算子基础上，展现出显著的性能提升。研究结果显示，该模型能有效结合全球主机模型，实现深度学习的有限区域建模。

Aug, 2024

简化的Mamba：用于长期时间序列预测的解耦依赖编码

该研究解决了长期时间序列预测中难以同时考虑顺序和语义依赖的问题。论文提出了一种简化的Mamba模型，通过消除非线性激活和引入解耦依赖编码策略，显著提高了对交叉变量依赖的建模能力。实验结果显示，其在七个真实数据集上的预测性能优于现有模型，具有重要的应用价值。

Aug, 2024

黑曼巴还是变压器：时间序列预测的通用混合模型（MoU）是你所需要的一切

本研究针对现有时间序列预测方法主要忽视短期动态的复杂性这一问题，提出了一种新颖的混合通用模型（MoU），旨在有效捕捉短期和长期依赖。MoU结合了适应性特征提取器和多种架构的层次整合，提升了时间序列预测的性能，其在多个真实数据集上的实验结果显示出了卓越的效果和低计算成本。

Aug, 2024

多变量时间序列的状态空间模型聚合

该研究针对多变量时间序列（MTS）任务中的复杂依赖问题，提出了一种新的状态空间模型（SSM）聚合方法——Poly-Mamba。通过扩展正交函数基空间并引入多元正交多项式近似（MOPA），该方法能够更准确地描述时间与通道依赖的变化。实验结果显示，Poly-Mamba在处理具有大数量通道和复杂相关性的真实数据集时，显著优于现有的最先进方法。

Sep, 2024