轻采样导向的 MLP 结构在多元时间序列快速预测中的应用
TSMixer 是一个轻量级的神经架构,由多层感知机模块组成,旨在为补丁时间序列提供高效的替代转换器。通过添加在线对账头,混合通道建模和简单的门控关注机制等组件,TSMixer 的学习能力得到显著提高。TSMixer 在预测方面的性能优于现有的 MLP 和 Transformer 模型,同时可显著减少存储器和运行时间。
Jun, 2023
本研究旨在创建轻量级的相关时间序列预测模型,LightCTS 框架采用时间和空间运算符的简单堆叠,以及最后压缩方案,以提高计算效率,同时在单步和多步预测基准数据集上也表现出接近最先进的准确性。
Feb, 2023
本文研究线性模型在时间序列预测中的能力,提出了一个基于多层感知机的模型 TSMixer,通过在时间和特征维度上的混合操作提取信息。TSMixer 在常见的学术基准测试中表现出和专业模型类似的性能,在真实世界的 M5 基准测试数据集上表现出比先进模型更好的性能。本文的结果强调了有效利用交叉变量和辅助信息以提高时间序列预测性能的重要性,并且预计 TSMixer 的设计范例会为基于深度学习的时间序列预测开启新的视野。
Mar, 2023
利用预训练模型进行时间序列预测方面的研究,提出了 Multi-level Tiny Time Mixers(TTM)方法,通过小型模型、自适应补丁、数据增强和分辨率前缀调整来有效地模拟跨通道相关性和整合外部信号,实现了显著的准确性提升和参数规模大幅减小。
Jan, 2024
为了应对时间序列数据的长期和短期相关性,我们引入了一种新颖的时间序列轻量级适应网络(TSLANet),它是一种用于不同时间序列任务的通用卷积模型。我们通过引入自适应阈值、傅里叶分析和自我监督学习来增强特征表示、捕捉长期和短期交互并减少噪声。我们的实验证明,TSLANet 在分类、预测和异常检测等各种任务中表现优于现有模型,展示了其在不同噪声水平和数据规模下的稳健性和适应性。
Apr, 2024
基于大型语言模型(LLMs)的启发,时间序列预测(TSF)正在向基于 Universal-Transformer 的大型时间序列模型(LTSMs)过渡,旨在为 TSF 训练通用模型。然而,在异构时间序列数据上训练 LTSMs 面临着多样的挑战,包括数据集之间不同的频率,维度和模式。我们通过综合分析设计选择,并旨在确定训练 LTSM 的最佳实践。此外,我们提出了一种针对时间序列数据的新型统计提示策略称为 “时间序列提示”。基于我们分析中的观察结果,我们引入了 “LTSM-bundle”,该捆绑包绑定了我们确定的最佳设计选择。实证结果表明,“LTSM-bundle” 在基准数据集上相比于最先进的 LSTMs 和传统的 TSF 方法具有卓越的零射击和少射击性能。
Jun, 2024
我们的研究通过改进 Transformer 架构,提出了一种基于 Patch 机制和线性层的新型解决方案 PDMLP,用于长期时间序列预测任务,并在多个真实数据集上实现了最先进的结果。
May, 2024
提出了一种基于模块裁剪和 Pareto 分析的方法,旨在研究模型效率与准确性及其复杂性之间的关系,以设计一种有效的网络架构来减少计算成本,实验结果在基准 MTS 数据集上验证了该方法的有效性。
Mar, 2022
复杂多元时间序列预测中,通过简单的线性模型结构来整合时间嵌入和空间信息的 SpatioTemporal-Linear 框架优于深度学习技术中的线性模型和 Transformer 模型在多种观测和预测时长的数据集上的性能表现。
Dec, 2023