黑曼巴还是变压器:时间序列预测的通用混合模型(MoU)是你所需要的一切
TimeMachine是一种创新的模型,利用Mamba作为状态空间模型来捕捉多变量时间序列数据中的长期依赖关系,同时具有线性可扩展性和小内存占用。TimeMachine利用时间序列数据的独特属性,在多个尺度上生成显著的上下文提示,并利用一种创新的集成四重-Mamba架构统一处理混合通道和独立通道情况,从而在不同尺度上以全局和局部上下文的方式对内容进行有效选择以进行预测。实验结果表明,TimeMachine在预测准确性、可扩展性和内存效率方面表现出优异的性能,已在基准数据集上进行了广泛验证。
Mar, 2024
本文介绍了两种基于状态空间模型(SSM)的时序预测模型,S-Mamba和D-Mamba,它们利用Mamba块提取变量之间的相关性,在节省GPU内存和训练时间的同时实现了卓越的性能,同时通过大量实验比较了Mamba和Transformer在时序预测中的潜力,为该领域探索了新的研究方向。
Mar, 2024
在这篇论文中,我们提出了一种混合框架Mambaformer,该框架在内部结合了Mamba和Transformer架构,用于长短范围的时间序列预测,并通过比较研究表明,Mambaformer系列可以在长短范围的时间序列预测问题中胜过Mamba和Transformer。
Apr, 2024
提出了一种名为Bi-Mamba4TS的双向Mamba模型,通过采用补丁技术丰富了局部信息并精细捕捉时间序列的演化模式,同时结合数据集特征选择更合适的建模方法,实验证明该模型在七个真实数据集上相较于现有方法获得了更准确的预测结果。
Apr, 2024
提出了一种名为C-Mamba的基于状态空间模型的多变量时间序列预测方法,通过混合通道和通道注意力增强的方式来捕捉跨通道依赖关系,获得了在七个真实世界时间序列数据集上的最先进性能,同时其混合和注意力策略在其他框架中表现出强大的泛化能力。
Jun, 2024
介绍了一种名为MSegRNN的变体模型,利用经过调整的单层Mamba结构对信息进行预处理,并在编码部分引入了隐式分割和残差结构,从而进一步减少RNN架构的迭代循环并隐式整合通道间的相关性,该模型在实际的长期时间序列预测数据集上展现出优秀的性能,为长期时间序列预测方法的发展作出了贡献。
Jul, 2024
该研究解决了长期时间序列预测中难以同时考虑顺序和语义依赖的问题。论文提出了一种简化的Mamba模型,通过消除非线性激活和引入解耦依赖编码策略,显著提高了对交叉变量依赖的建模能力。实验结果显示,其在七个真实数据集上的预测性能优于现有模型,具有重要的应用价值。
Aug, 2024
本研究针对深度学习模型在长短期时间序列预测中的局限性,提出了一种新的方法MAT,结合了曼巴模型的长程依赖能力和变压器模型的短程特性。实验证明,MAT在预测准确性、可扩展性和内存效率方面优于现有方法,能够更好地捕捉多变量时间序列中的独特依赖关系和演变模式。
Sep, 2024
本研究针对现有时间序列预测模型规模有限和高成本问题,提出了Time-MoE,一种可扩展的统一架构,旨在降低推断成本并提升预测能力。通过稀疏的专家混合设计,Time-MoE在不增加推断成本的情况下有效增加模型参数(高达24亿),实现了显著的预测精度提升,展现出其在实际时间序列预测中的应用潜力。
Sep, 2024
该研究针对多变量时间序列(MTS)任务中的复杂依赖问题,提出了一种新的状态空间模型(SSM)聚合方法——Poly-Mamba。通过扩展正交函数基空间并引入多元正交多项式近似(MOPA),该方法能够更准确地描述时间与通道依赖的变化。实验结果显示,Poly-Mamba在处理具有大数量通道和复杂相关性的真实数据集时,显著优于现有的最先进方法。
Sep, 2024