基于 Patch 和 Transformer 的长期多能源负荷预测的推进

Apr, 2024

基于 Patch 和 Transformer 的长期多能源负荷预测的推进

Advancing Long-Term Multi-Energy Load Forecasting with Patchformer: A Patch and Transformer-Based Approach

Qiuyi Hong, Fanlin Meng, Felipe Maldonado

TL;DRPatchformer 是一种整合了补丁嵌入 (patch embedding) 和编码 - 解码式 Transformer 架构的新型模型，用于解决现有基于 Transformer 的模型在长期预测中难以应对复杂时间模式的问题，通过将多元时间序列数据分解为多个单元数据并将其分割为多个补丁，Patchformer 有效地提高了模型捕捉局部和全局语义依赖性的能力，数值分析表明，在新颖的多能源数据集和其他基准数据集上，Patchformer 在多元和单元长期预测中均能够获得更好的准确性，此外，研究还发现了能源相关产品之间相互依赖对 Patchformer 和其他对比模型长期时间序列预测性能的积极影响，以及 Patchformer 相对于其他模型的优越性，这在处理长期多能源预测的相互依赖性和复杂性方面具有重大的进展，最后，Patchformer 作为唯一一个模型跟踪过去序列长度与模型性能之间的正相关关系，突出了其捕捉长程过去局部语义信息的能力。

Abstract

In the context of increasing demands for long-term multi-energy load forecasting in real-world applications, this paper introduces patchformer, a novel model that integrates patch embedding with encoder-decoder <

patchformer multi-energy load forecasting patch embedding transformer-based architectures long-term forecasting

发现论文，激发创造

MultiResFormer：自适应多分辨率建模的转换器用于通用时间序列预测

提出一种名为 MultiResFormer 的基于 Transformer 的模型，通过自适应选择最佳的 patch 长度来动态建模时间序列的变化，并在长期预测任务中优于基于 patch 的 Transformer，同时使用比 CNN 基线更少的参数。

Nov, 2023

时间序列价值 64 词：使用 Transformer 进行长期预测

本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计，它基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序列，其在所有系列中共享相同的嵌入和 Transformer 权重。PatchTST 可以显著提高长期预测准确性，超越 SOTA Transformer-based models，并在自我监督预训练任务中实现出色的微调性能。

Nov, 2022

PatchMixer：长期时间序列预测的补丁混合架构

通过引入一种新颖的 CNN 模型 ——PatchMixer，我们解决了 Transformer 模型在时间序列预测任务中面临的挑战，该模型具有可以保留时间信息的排列不变自注意力机制。与传统 CNN 不同的是，我们的方法仅依赖于深度可分离卷积，可以在单一尺度的结构中提取局部特征和全局相关性。试验结果表明，与现有最先进的方法和表现最佳的 CNN 相比，PatchMixer 相对提升了分别为 3.9％和 21.2％，而且速度是最先进方法的 2-3 倍。我们将发布我们的代码和模型。

Oct, 2023

Pathformer: 适应性路径的多尺度变压器模型用于时间序列预测

该论文介绍了一种名为 Pathformer 的多尺度 Transformer 模型，通过自适应路径进行多尺度建模，以提高预测准确性和泛化能力，实验证明其在真实数据集上表现出优越的性能和泛化能力。

Feb, 2024

时间建模转换器用于长期序列预测

通过将时间序列分成按天分割的小块，重新进行逐块方式处理并设计时间建模 Transformer-Dateformer，以提高 Transformers 模型的信息输入和输出并使模型能够全局分析时间序列，大幅提高了时间序列预测的准确性和半年的最大预测范围。

Jul, 2022

PDMLP：基于补丁的分解 MLP 用于长期时间序列预测

我们的研究通过改进 Transformer 架构，提出了一种基于 Patch 机制和线性层的新型解决方案 PDMLP，用于长期时间序列预测任务，并在多个真实数据集上实现了最先进的结果。

May, 2024

多层次时间序列变换器用于长期预测

提出了一种多分辨率时间序列变压器（MTST）框架，采用了多支架构来同时建模不同分辨率的多样化时间模式，通过相对位置编码提取不同尺度上的周期成分，与现有的时间序列变压器相比，在几个真实世界数据集上进行了广泛实验，证明了 MTST 在与最先进的预测技术的比较中的有效性。

Nov, 2023

Stecformer: 空间 - 时间编码叠加变换器用于多元长期时间序列预测

本研究提出了一种完整的解决方案，包括特征提取和目标预测，旨在解决多变量长期时间序列预测中的空间特征提取和不同预测时期的一致性问题。新的方法称为 “时空编码串联变压器（Stecformer）”，其采用高效的时空编码提取器和级联解码预测器来改善基线模型的性能，并在五个基准数据集上实现了与基线模型可比较的最先进性能。

May, 2023

本研究介绍了一种名为 Autoformer 的时间序列长期预测模型，它采用了一种新颖的基于自动相关性机制的分解体系结构，用于处理复杂时间序列，取得了超过现有最优结果 38% 的相对改进。

Jun, 2021

Transformer 多变量预测：多多益善？

本研究提出了一种使用 PCA 增强的新型 Transformer 预测框架，以降低冗余信息、提高预测准确性并优化运行时间效率。通过与其他五个先进模型和四个真实世界数据集的评估结果显示，该框架能够在所有模型和数据集上最小化预测误差，并显著降低运行时间。其中 PCA+Crossformer 模型平均减少均方误差（MSE）33.3% 并缩短运行时间 49.2%。在电力数据集上，该框架降低 MSE 14.3% 和运行时间 76.6%；在交通数据集上，降低 MSE 4.8% 和运行时间 86.9%。本研究旨在推进各种先进模型，增强基于 Transformer 的时间序列预测能力，以适用于复杂数据。

Dec, 2023