Oct, 2023

BasisFormer: 可学习和可解释的基于注意力的时间序列预测

PDF
TL;DRBasisFormer 是一种端到端时间序列预测架构，它利用可学习和可解释的基来获取基础。通过自适应的自监督学习获得基础，使用双向交叉注意力计算时间序列与基础之间的相似性系数，并根据相似性系数选择和整合未来视图中的基础，从而实现准确的未来预测。通过对六个数据集进行广泛实验，证明 BasisFormer 在单变量和多变量预测任务中分别超过先前的最先进方法 11.04% 和 15.78%。
发现论文，激发创造
  • SageFormer：基于序列图强化变压器的多变量时间序列预测

    本研究介绍了一种基于图结构的序列感知增强变压器模型 SageFormer，用于有效地捕捉和建模系列之间的依赖关系，并通过真实世界和合成数据集的广泛实验展示其优越性。

    Jul, 2023

  • 面向时间序列数据的基础模型

    本文通过利用多个领域的无标签样本，旨在开发一种有效的时间序列基础模型。实验结果表明，与其他方法相比，该提出的预训练方法结合 Transformer 模型在下游分类任务中具有更好的性能。

    Oct, 2023

  • 面向时间序列预测的仅解码器基础模型

    基于大型语言模型的自然语言处理，我们设计了一个时间序列基础模型用于预测，在各种公共数据集上，模型的开箱即用的零射的表现接近各个数据集的最先进的监督预测模型准确度。模型基于对大型时间序列语料库进行预训练的修补解码器样式注意力模型，并且可以适用于不同的预测历史长度、预测长度和时间粒度。

    Oct, 2023

  • 深度学习和基础模型在时间序列预测中的调查

    深度学习在时间序列预测方面取得了显著优势，然而在大流行预测领域仍存在挑战，如训练数据不足和模型的可解释性。此文献综述了几种先进的建模技术，并提供了进一步研究的建议。

    Jan, 2024

  • 自适应基层功能数据分析的深度学习

    尽管深度神经网络广泛应用于许多领域，但在数学函数数据分析领域却非常少见。本文提出了自适应学习基函数来实现是否有效的降维，引入神经网络，证明本方法在多种分类 / 回归任务中的实验结果均优于其他类型的神经网络。

    Jun, 2021

  • 时间建模转换器用于长期序列预测

    通过将时间序列分成按天分割的小块，重新进行逐块方式处理并设计时间建模 Transformer-Dateformer，以提高 Transformers 模型的信息输入和输出并使模型能够全局分析时间序列，大幅提高了时间序列预测的准确性和半年的最大预测范围。

    Jul, 2022

  • 因果 Transformer: 时间因果发现的可解释 Transformer

    通过预测任务和设计的多核因果卷积，CausalFormer 学习时序数据的因果表达，并通过回归相关传播解释训练后的模型全局结构以构建因果图，从而在发现时序因果性方面实现了最先进的性能。

    Jun, 2024

  • 时间序列基础模型综述：利用大型语言模型进行时间序列表示的泛化

    对时间序列进行分析的基础模型的研究和应用，包括从头开始预训练基础模型和适应大型语言基础模型进行时间序列分析的方法，并提供了一种 3E 分析框架和一个领域分类系统来帮助该领域的发展。

    May, 2024

  • AgentFormer: 面向多智能体时空预测的智能体感知 Transformer

    论文提出了一个新的 Transformer 模型 AgentFormer，该模型可以联合模拟时间和社交两个维度，用于预测多智能体行为，同时考虑了多智能体的影响以及不确定性。该模型具有良好的性能，并在公共数据集上取得了 state-of-the-art 的结果。

    Mar, 2021

  • N-BEATS：神经基础扩展分析用于可解释时间序列预测

    通过提出一种基于前向和后向残差连接和非常深的全连接层堆叠的深度神经网络结构，我们解决了单变量时间序列点预测问题，实现了比前人更高的准确率，且具有可解释性等良好属性。

    May, 2019