简化的Mamba:用于长期时间序列预测的解耦依赖编码
本文研究关注机制在时间序列预测性能上的作用,提出MTS-Mixers来解决捕获时间和通道互动中的交错和冗余问题,并证明了关注机制不是捕获时间依赖关系的必要条件。
Feb, 2023
为了支持机器学习方法在预测时间序列数据方面的进展,我们提供了一个专门设计用于长期时间序列预测的全面数据集。我们将从不同的动态系统和真实记录中获取的一系列数据集进行了标准化,每个数据集都被分成了训练和测试轨迹,并设定了预定的回溯长度。通过对经典和先进的模型(即LSTM,DeepAR,NLinear,N-Hits,PatchTST,和LatentODE)进行广泛的基准分析,我们确定在不同场景中最有效的模型。我们的研究结果显示出这些模型之间有着有趣的性能比较,突显了模型效果与数据集有关的特性。值得注意的是,我们引入了一个定制的latent NLinear模型并且通过课程学习阶段提高了DeepAR的性能,它们在效果上始终优于其原始版本。
Sep, 2023
FCDNet是一个简洁而有效的框架,通过两个轻量级依赖构造器,从多层频率模式中自适应地提取长期和短期依赖信息,从而克服了先前方法所面临的限制,并显著超过强基线,平均改进了MAE的6.82%、RMSE的4.98%和MAPE的4.91%。
Dec, 2023
利用大型语言模型和时间序列对齐框架,进行多元时间序列预测,同时充分发挥语言模型的潜力,建立了长期和短期预测的新的最先进方法。
Mar, 2024
TimeMachine是一种创新的模型,利用Mamba作为状态空间模型来捕捉多变量时间序列数据中的长期依赖关系,同时具有线性可扩展性和小内存占用。TimeMachine利用时间序列数据的独特属性,在多个尺度上生成显著的上下文提示,并利用一种创新的集成四重-Mamba架构统一处理混合通道和独立通道情况,从而在不同尺度上以全局和局部上下文的方式对内容进行有效选择以进行预测。实验结果表明,TimeMachine在预测准确性、可扩展性和内存效率方面表现出优异的性能,已在基准数据集上进行了广泛验证。
Mar, 2024
在这篇论文中,我们提出了一种混合框架Mambaformer,该框架在内部结合了Mamba和Transformer架构,用于长短范围的时间序列预测,并通过比较研究表明,Mambaformer系列可以在长短范围的时间序列预测问题中胜过Mamba和Transformer。
Apr, 2024
提出了一种名为Bi-Mamba4TS的双向Mamba模型,通过采用补丁技术丰富了局部信息并精细捕捉时间序列的演化模式,同时结合数据集特征选择更合适的建模方法,实验证明该模型在七个真实数据集上相较于现有方法获得了更准确的预测结果。
Apr, 2024
提出了一种名为C-Mamba的基于状态空间模型的多变量时间序列预测方法,通过混合通道和通道注意力增强的方式来捕捉跨通道依赖关系,获得了在七个真实世界时间序列数据集上的最先进性能,同时其混合和注意力策略在其他框架中表现出强大的泛化能力。
Jun, 2024
本研究针对现有时间序列预测方法主要忽视短期动态的复杂性这一问题,提出了一种新颖的混合通用模型(MoU),旨在有效捕捉短期和长期依赖。MoU结合了适应性特征提取器和多种架构的层次整合,提升了时间序列预测的性能,其在多个真实数据集上的实验结果显示出了卓越的效果和低计算成本。
Aug, 2024
本研究针对深度学习模型在长短期时间序列预测中的局限性,提出了一种新的方法MAT,结合了曼巴模型的长程依赖能力和变压器模型的短程特性。实验证明,MAT在预测准确性、可扩展性和内存效率方面优于现有方法,能够更好地捕捉多变量时间序列中的独特依赖关系和演变模式。
Sep, 2024