KDDMay, 2023

Stecformer: 空间 - 时间编码叠加变换器用于多元长期时间序列预测

PDF
TL;DR本研究提出了一种完整的解决方案，包括特征提取和目标预测，旨在解决多变量长期时间序列预测中的空间特征提取和不同预测时期的一致性问题。新的方法称为 “时空编码串联变压器（Stecformer）”，其采用高效的时空编码提取器和级联解码预测器来改善基线模型的性能，并在五个基准数据集上实现了与基线模型可比较的最先进性能。
multivariate long-term time series forecastingtransformer-based methodsspatial features extractingsufficient spatio-temporal informationcascaded decoding predictor
发现论文，激发创造
  • 多层次时间序列变换器用于长期预测

    提出了一种多分辨率时间序列变压器（MTST）框架，采用了多支架构来同时建模不同分辨率的多样化时间模式，通过相对位置编码提取不同尺度上的周期成分，与现有的时间序列变压器相比，在几个真实世界数据集上进行了广泛实验，证明了 MTST 在与最先进的预测技术的比较中的有效性。

    Nov, 2023

  • FEDformer：用于长期序列预测的频率增强分解变换器

    该研究提出了一种名为 FEDformer 的算法，采用 Transformer 和季节趋势分解方法相结合，提高长期预测的性能，同时通过基于 Fourier 变换的频率增强技术进一步提高了预测的准确性，与当前先进的方法相比，在多元和单元时间序列上均能大幅度降低预测误差。

    Jan, 2022

  • 时空自适应嵌入使得 Vanilla Transformer 成为交通预测的最佳模型

    智能交通系统中，精确的交通预测是一项重要挑战。本研究提出了一种名为时空自适应嵌入的新型组件，可以通过使用传统的 Transformer 模型取得出色的结果，该模型在五个实际交通预测数据集上实现了最先进的性能，进一步实验证明时空自适应嵌入在交通预测中起着关键作用。

    Aug, 2023

  • 基于分层时空 Transformer 的长期风力预测

    本文提出了一种新的基于 Transformer Network 的 Hierarchical Spatial-Temporal Transformer Network（HSTTN）模型，利用空间和时间特征增强长期风力发电预测。实验结果表明，该模型性能优于现有解决方案。

    May, 2023

  • 时间序列价值 64 词：使用 Transformer 进行长期预测

    本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计，它基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序列，其在所有系列中共享相同的嵌入和 Transformer 权重。PatchTST 可以显著提高长期预测准确性，超越 SOTA Transformer-based models，并在自我监督预训练任务中实现出色的微调性能。

    Nov, 2022

  • 具有忠实编码的诊断时空转换器

    本文提出了一种新的控制建筑电梯工业应用程序的时空依赖性发现模型，DFStrans，它应用了基于离散傅里叶变换的新位置编码，并通过监督学习发现探测目的的 ST 依赖性。

    May, 2023

  • ESTformer: EEG 超分辨率利用时空依赖的 Transformer

    基于 Transformer 的 ESTformer 框架应用于脑电超分辨率（SR）任务，利用时空依赖关系学习空间结构信息和时间功能变化，并通过 Spatial Interpolation Module（SIM）和 Temporal Reconstruction Module（TRM）捕捉建模脑电 SR 的时空依赖性。实验证明 ESTformer 在两个脑电数据集上的有效性，并证明了 SR 数据相对于 LR 数据在脑电相关的个人识别和情绪识别任务中的优越性，展示了 Transformer 在脑电超分辨率任务中的多功能性。

    Dec, 2023

  • 融合 Transformer 和时空自监督学习的长期交通预测

    利用混合 Transformer 和时空自监督学习的模型来提高长期交通预测的鲁棒性，该模型通过在交通数据的序列级和图级应用自适应数据增强技术来增强其鲁棒性，利用 Transformer 克服了循环神经网络在捕捉长期序列方面的局限性，并采用 Chebyshev 多项式图卷积来捕捉复杂的空间依赖关系。此外，考虑到时空异质性对交通速度的影响，我们设计了两个自监督学习任务来建模时空异质性，从而提高模型的准确性和泛化能力。在两个真实数据集 PeMS04 和 PeMS08 上进行了实验评估，结果进行了可视化和分析，证明了所提模型的卓越性能。

    Jan, 2024

  • 交通预测中的时空变换器的再思考：多层多视角增强学习框架

    本文提出了一种多层多视图增强时空 Transformer（LVSTformer）用于交通预测，该模型旨在从局部地理、全局语义和关键节点三个不同层次捕获空间依赖性，同时还具备长期和短期的时间依赖性，通过结合三种空间增强视图与三个并行空间自注意机制，模型可以全面捕获不同层次的空间依赖性，并且采用门控时间自注意机制有效捕捉长期和短期的时间依赖性。此外，在两个时空层之间引入了时空上下文广播模块，以确保注意力分配的均匀分布，缓解过拟合和信息损失，增强模型的泛化能力和鲁棒性。通过在六个知名交通基准上进行全面的实验，实验结果表明 LVSTformer 相比竞争基线模型实现了最先进的性能，最大改进幅度达到了 4.32%。

    Jun, 2024

  • 基于 Transformer 的时间序列符合预测

    利用 Transformer 架构的符合预测方法通过捕捉长期记忆和长程依赖，以 Transformer 解码器作为条件分位数估计器来预测预测残差的分位数，从而估计预测区间，并通过综合实验证明该方法在模拟和真实数据上相较于现有的符合预测方法具有更好的性能。

    Jun, 2024