KAN4TSF:KAN及基于KAN的模型在时间序列预测中的有效性
本文提出了一种新颖的知识融合架构,Knowledge Enhanced Neural Network (KENN),用于时间序列预测,旨在将知识和数据领域的优势相结合,减少整体框架对数据的依赖性,提高性能并将其与现有方法进行比较。
Feb, 2022
本文提出了模型,这是一种基于深度学习的概率时间序列预测结构,具有内在可解释性。我们通过多个数据集和性能度量进行实验,并经验证明,我们的模型不仅具有可解释性,而且还提供了与最先进的概率时间序列预测方法相当的性能。此外,我们证明了解释感兴趣的随机过程的参数可以为多个应用领域提供有用的见解。
Jan, 2023
为了支持机器学习方法在预测时间序列数据方面的进展,我们提供了一个专门设计用于长期时间序列预测的全面数据集。我们将从不同的动态系统和真实记录中获取的一系列数据集进行了标准化,每个数据集都被分成了训练和测试轨迹,并设定了预定的回溯长度。通过对经典和先进的模型(即LSTM,DeepAR,NLinear,N-Hits,PatchTST,和LatentODE)进行广泛的基准分析,我们确定在不同场景中最有效的模型。我们的研究结果显示出这些模型之间有着有趣的性能比较,突显了模型效果与数据集有关的特性。值得注意的是,我们引入了一个定制的latent NLinear模型并且通过课程学习阶段提高了DeepAR的性能,它们在效果上始终优于其原始版本。
Sep, 2023
BasisFormer 是一种端到端时间序列预测架构,它利用可学习和可解释的基来获取基础。通过自适应的自监督学习获得基础,使用双向交叉注意力计算时间序列与基础之间的相似性系数,并根据相似性系数选择和整合未来视图中的基础,从而实现准确的未来预测。通过对六个数据集进行广泛实验,证明 BasisFormer 在单变量和多变量预测任务中分别超过先前的最先进方法 11.04% 和 15.78%。
Oct, 2023
时间序列预测任务基于历史信息预测未来趋势。本文提出了一种对称和分层的框架,Kernel-U-Net,它在网络的每一层将输入序列切分成片段,然后使用内核对其进行计算。与现有的线性或Transformer解决方案相比,我们的模型具有三个优势:1)参数较小,2)灵活性,3)计算效率。在六个(七个中的五个)真实数据集上,Kernel-U-Net的准确性大于或等于最先进模型的准确性。
Jan, 2024
通过将Kolmogorov-Arnold Networks (KANs) 应用于时间序列预测,利用它们的自适应激活函数来增强预测建模能力。证明了在实际卫星流量预测任务中,KANs 相对于传统的多层感知机 (MLPs) 能够以更准确的结果和更少的可学习参数提供更好的性能。此外,还对 KAN-specific 参数的影响进行了深入研究,为自适应预测模型开辟了新的途径,强调了 KANs 作为强大预测分析工具的潜力。
May, 2024
Kolmogorov-Arnold Networks (KAN) 是MIT团队最近提出的一种划时代的模型,提供了一种具有改变游戏规则潜力的创新方法。本文探讨了KAN在时间序列预测中的应用,并提出了两个变体:T-KAN和MT-KAN。实验证实了这些方法的有效性,证明了它们在时间序列预测任务中显著优于传统方法,不仅提高了预测准确性,还改善了模型的可解释性。
Jun, 2024
本研究针对Kolmogorov-Arnold网络(KAN)在传统多层感知机(MLP)面临验证的瓶颈问题,进行了大规模基准数据集上的比较。研究发现,KAN在128个时间序列数据集上的表现可与MLP匹敌,且具有更强的鲁棒性,揭示了KAN及其层在提升模型对抗鲁棒性方面的潜力。
Aug, 2024
本研究解决了Kolmogorov-Arnold网络(KAN)在大规模基准数据集上验证的需求,特别是在时间序列数据领域。通过与传统的多层感知器(MLP)进行比较,研究发现KAN在128个时间序列数据集上的表现可与MLP相媲美,甚至略有提升,同时显示出更强的鲁棒性,具有改进其他模型对抗鲁棒性的潜力。
Aug, 2024
本研究针对现有时间序列预测模型规模有限和高成本问题,提出了Time-MoE,一种可扩展的统一架构,旨在降低推断成本并提升预测能力。通过稀疏的专家混合设计,Time-MoE在不增加推断成本的情况下有效增加模型参数(高达24亿),实现了显著的预测精度提升,展现出其在实际时间序列预测中的应用潜力。
Sep, 2024