Dec, 2023

Transformer 多变量预测：多多益善？

PDF
TL;DR本研究提出了一种使用 PCA 增强的新型 Transformer 预测框架，以降低冗余信息、提高预测准确性并优化运行时间效率。通过与其他五个先进模型和四个真实世界数据集的评估结果显示，该框架能够在所有模型和数据集上最小化预测误差，并显著降低运行时间。其中 PCA+Crossformer 模型平均减少均方误差（MSE）33.3% 并缩短运行时间 49.2%。在电力数据集上，该框架降低 MSE 14.3% 和运行时间 76.6%；在交通数据集上，降低 MSE 4.8% 和运行时间 86.9%。本研究旨在推进各种先进模型，增强基于 Transformer 的时间序列预测能力，以适用于复杂数据。
multivariate forecastingtransformer modelsprincipal component analysisprediction errorsruntime efficiency
发现论文，激发创造
  • 时间序列价值 64 词：使用 Transformer 进行长期预测

    本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计，它基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序列，其在所有系列中共享相同的嵌入和 Transformer 权重。PatchTST 可以显著提高长期预测准确性，超越 SOTA Transformer-based models，并在自我监督预训练任务中实现出色的微调性能。

    Nov, 2022

  • 提升变压器的效率，用于多元时间序列分类

    提出了一种基于模块裁剪和 Pareto 分析的方法，旨在研究模型效率与准确性及其复杂性之间的关系，以设计一种有效的网络架构来减少计算成本，实验结果在基准 MTS 数据集上验证了该方法的有效性。

    Mar, 2022

  • 用于预测多个负载时间序列的 Transformer 训练策略

    研究使用 Transformer 进行电力负荷预测，并测试转移学习策略的有效性，表明全局模型优于其他训练策略，使得 Transformer 在正确的策略下是有效的电力负载预测方法。

    Jun, 2023

  • 一种基于 Transformer 的多变量时间序列框架：以剩余使用寿命预测为例

    提出了一种基于编码器 - Transformer 结构的多元时间序列预测框架，用于预测系统剩余可用寿命，与其他 13 种当前最先进模型相比，其性能提升了平均 137.65%。

    Aug, 2023

  • 利用敏锐感知最小化和通道关注解锁 Transformers 在时间序列预测中的潜力

    通过研究一个玩具线性预测问题，我们发现变压器尽管具有高表达能力，但不能收敛于真实解，这是由于其注意力机制的低泛化能力。基于这一发现，我们提出了一种浅层轻量级变压器模型，在利用尖锐感知优化时能够成功逃离糟糕的局部最小值。我们通过实验证明这一结果在所有常用的多变量时间序列数据集上成立，并且 SAMformer 平均超过当前最先进模型 TSMixer 14.33%，同时参数数量仅为其四分之一。

    Feb, 2024

  • 时间建模转换器用于长期序列预测

    通过将时间序列分成按天分割的小块，重新进行逐块方式处理并设计时间建模 Transformer-Dateformer，以提高 Transformers 模型的信息输入和输出并使模型能够全局分析时间序列，大幅提高了时间序列预测的准确性和半年的最大预测范围。

    Jul, 2022

  • 跨变量线性集成增强型光伏发电功率预测变压器

    提出了 PV-Client (Cross-variable Linear Integrated ENhanced Transformer) 用于光伏发电功率预测，采用增强 Transformer 模块捕获不同特征之间的复杂相互作用，使用线性模块学习光伏功率的趋势信息，并整合交叉变量注意力以捕获光伏功率与天气因素之间的依赖关系。实验结果表明，PV-Client 在光伏发电功率预测方面表现卓越。

    Jun, 2024

  • 具有注意力联邦聚合的时间序列股票预测的 Transformer

    我们提出了一种关注的联邦变压器，用于时间序列股票预测，在保护参与企业的隐私的同时具备更好的性能。关于从雅虎金融网站获取的各种股票数据的实证结果显示了我们提出的方案在处理上述挑战和联邦学习中的数据异质性方面的优越性。

    Jan, 2024

  • 稀疏二进制变换器用于多元时间序列建模

    通过应用稀疏和二元权重变换器在多变量时间序列问题上，我们表明轻量级模型能够获得与相同结构的稠密浮点变换器相当的准确性。我们的模型在分类、异常检测和单步预测三个时间序列学习任务上取得了良好的结果，并应用了两种修改以减少注意力机制的计算复杂度，从而大大减少变换器中非零操作的数量。我们在参数数量、存储大小和浮点运算量（FLOPs）等多个度量标准上测量了我们的方法的计算节约，并展示了高达 53 倍的存储大小减少和高达 10.5 倍的 FLOPs 减少。

    Aug, 2023

  • iTransformer: 倒置变换器用于时间序列预测的有效性

    在这项工作中，我们反思了 Transformer 组件的能力，并重新设计了 Transformer 架构，而无需对基本组件进行任何调整。我们提出了 iTransformer 模型，这个模型通过反转注意力机制和前馈网络的职责，以实现对多变量时间序列的预测。iTransformer 模型在几个真实世界的数据集上取得了一致的最先进表现，进一步增强了 Transformer 家族的性能、广泛适用于不同变量、更好地利用任意回望窗口，成为时间序列预测的基本骨干的一个很好的替代方案。

    Oct, 2023