May, 2024

PDMLP：基于补丁的分解 MLP 用于长期时间序列预测

PDF
TL;DR我们的研究通过改进 Transformer 架构，提出了一种基于 Patch 机制和线性层的新型解决方案 PDMLP，用于长期时间序列预测任务，并在多个真实数据集上实现了最先进的结果。
transformer architecturelong-term time series forecastingpatch mechanismlinear layersmultivariate time series forecasting
发现论文，激发创造
  • PatchMixer：长期时间序列预测的补丁混合架构

    通过引入一种新颖的 CNN 模型 ——PatchMixer，我们解决了 Transformer 模型在时间序列预测任务中面临的挑战，该模型具有可以保留时间信息的排列不变自注意力机制。与传统 CNN 不同的是，我们的方法仅依赖于深度可分离卷积，可以在单一尺度的结构中提取局部特征和全局相关性。试验结果表明，与现有最先进的方法和表现最佳的 CNN 相比，PatchMixer 相对提升了分别为 3.9％和 21.2％，而且速度是最先进方法的 2-3 倍。我们将发布我们的代码和模型。

    Oct, 2023

  • 多区块预测：适应时序表示学习的 LLM 调整

    本研究提出了一种创新的框架 aLLM4TS，用于适应大型语言模型（LLMs）进行时间序列表示学习，并通过将时间序列预测重新构想为自监督的多补丁预测任务，比传统的遮罩和重建方法更有效地捕捉了补丁表示中的时间动态。我们的策略包括两个阶段的训练：（i）在各种时间序列数据集上基于下一个补丁预测进行因果连续预训练阶段，有效地将 LLM 的能力与时间序列数据的复杂性同步；（ii）在目标时间序列环境中进行多补丁预测的微调。我们框架的一个独特要素是基于补丁的解码层，摒弃了先前依赖序列级解码的方法。这种设计直接将各个补丁转换为时间序列，从而显著增强了模型在掌握基于时间补丁的表示方面的能力。aLLM4TS 在多个下游任务中表现出卓越性能，证明了它在提高传递性的时间表示方面的有效性，并在 LLMs 用于时间序列分析的适应性方面取得了重要进展。

    Feb, 2024

  • 时间序列价值 64 词：使用 Transformer 进行长期预测

    本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计，它基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序列，其在所有系列中共享相同的嵌入和 Transformer 权重。PatchTST 可以显著提高长期预测准确性，超越 SOTA Transformer-based models，并在自我监督预训练任务中实现出色的微调性能。

    Nov, 2022

  • 多尺度分解 MLP-Mixer 用于时序分析

    提出了一种名为 MSD-Mixer 的多尺度分解 MLP-Mixer 模型，该模型通过学习将时间序列分解成不同的组成部分，并在不同层级上表示这些组成部分，以处理多尺度时间模式和通道间的依赖关系。通过在各种实际数据集上进行广泛实验，包括长期和短期预测、插补、异常检测和分类等五个常见时间序列分析任务，证明了 MSD-Mixer 在性能上明显优于其他最先进的任务通用和任务特定方法。

    Oct, 2023

  • 时间序列预测的自适应多尺度分解框架

    我们提出了一种新颖的基于 MLP 的自适应多尺度分解 (AMD) 框架用于时间序列预测，该框架在多个尺度上将时间序列分解为不同的时间模式，并利用多尺度分解混合 (MDM) 模块将这些模式进行拆分和聚合，通过双重依赖交互 (DDI) 模块和自适应多预测合成 (AMS) 模块有效地建模时间和通道依赖性，并利用自相关性来提炼多尺度数据集成。全面的实验表明，我们的 AMD 框架不仅克服了现有方法的局限性，而且在各种数据集上的长期和短期预测任务中始终取得了最先进的性能，展示了出色的效率。

    Jun, 2024

  • PETformer: 基于占位符增强的长期时间序列预测变压器

    该论文研究了在应用 Transformer 进行长期时间序列预测（LTSF）任务时的三个关键问题：时间连续性、信息密度和多通道关系，并提出了三种创新解决方案，构建了一种名为 PETformer 的新模型，通过广泛的实验证明 PETformer 在 LTSF 任务中取得了当前公共数据集上的最先进性能，优于其他所有现有模型，显示了 Transformer 在 LTSF 领域仍具有强大的能力。

    Aug, 2023

  • Transformer 在时间序列预测中是否有效？

    通过简单的线性模型实验发现在长期时间序列预测任务中，线性模型 LTSF-Linear 的效果优于复杂的基于 Transformer 方法，这引发人们对该任务以及其他时间序列分析任务中基于 Transformer 方法的有效性的反思。

    May, 2022

  • 多层次时间序列变换器用于长期预测

    提出了一种多分辨率时间序列变压器（MTST）框架，采用了多支架构来同时建模不同分辨率的多样化时间模式，通过相对位置编码提取不同尺度上的周期成分，与现有的时间序列变压器相比，在几个真实世界数据集上进行了广泛实验，证明了 MTST 在与最先进的预测技术的比较中的有效性。

    Nov, 2023

  • 基于 Patch 和 Transformer 的长期多能源负荷预测的推进

    Patchformer 是一种整合了补丁嵌入 (patch embedding) 和编码 - 解码式 Transformer 架构的新型模型，用于解决现有基于 Transformer 的模型在长期预测中难以应对复杂时间模式的问题，通过将多元时间序列数据分解为多个单元数据并将其分割为多个补丁，Patchformer 有效地提高了模型捕捉局部和全局语义依赖性的能力，数值分析表明，在新颖的多能源数据集和其他基准数据集上，Patchformer 在多元和单元长期预测中均能够获得更好的准确性，此外，研究还发现了能源相关产品之间相互依赖对 Patchformer 和其他对比模型长期时间序列预测性能的积极影响，以及 Patchformer 相对于其他模型的优越性，这在处理长期多能源预测的相互依赖性和复杂性方面具有重大的进展，最后，Patchformer 作为唯一一个模型跟踪过去序列长度与模型性能之间的正相关关系，突出了其捕捉长程过去局部语义信息的能力。

    Apr, 2024

  • TSMixer：多元时间序列预测的轻量级 MLP-Mixer 模型

    TSMixer 是一个轻量级的神经架构，由多层感知机模块组成，旨在为补丁时间序列提供高效的替代转换器。通过添加在线对账头，混合通道建模和简单的门控关注机制等组件，TSMixer 的学习能力得到显著提高。TSMixer 在预测方面的性能优于现有的 MLP 和 Transformer 模型，同时可显著减少存储器和运行时间。

    Jun, 2023