Oct, 2023

PatchMixer：长期时间序列预测的补丁混合架构

PDF
TL;DR通过引入一种新颖的 CNN 模型 ——PatchMixer，我们解决了 Transformer 模型在时间序列预测任务中面临的挑战，该模型具有可以保留时间信息的排列不变自注意力机制。与传统 CNN 不同的是，我们的方法仅依赖于深度可分离卷积，可以在单一尺度的结构中提取局部特征和全局相关性。试验结果表明，与现有最先进的方法和表现最佳的 CNN 相比，PatchMixer 相对提升了分别为 3.9％和 21.2％，而且速度是最先进方法的 2-3 倍。我们将发布我们的代码和模型。
transformerpatchmixertime series forecastingpermutation-invariant self-attention mechanismdual forecasting heads
发现论文，激发创造
  • TSMixer：多元时间序列预测的轻量级 MLP-Mixer 模型

    TSMixer 是一个轻量级的神经架构，由多层感知机模块组成，旨在为补丁时间序列提供高效的替代转换器。通过添加在线对账头，混合通道建模和简单的门控关注机制等组件，TSMixer 的学习能力得到显著提高。TSMixer 在预测方面的性能优于现有的 MLP 和 Transformer 模型，同时可显著减少存储器和运行时间。

    Jun, 2023

  • 补丁是你所需的全部？

    本文介绍 ConvMixer 模型，它使用标准卷积来混合图像块，并在类似参数计数和数据集大小的情况下胜过 ViT、MLP-Mixer 和一些变种，同时也优于经典的 ResNet 等视觉模型。

    Jan, 2022

  • PatchMixer：重新思考网络设计以提升三维点云理解的泛化性能

    本文提出了 PatchMixer 架构，通过处理局部补丁和使用 MLP 聚合补丁特征，将 MLP-Mixer 的思想扩展到 3D 点云中，以提高深度网络架构的泛化性能。

    Jul, 2023

  • PDMLP：基于补丁的分解 MLP 用于长期时间序列预测

    我们的研究通过改进 Transformer 架构，提出了一种基于 Patch 机制和线性层的新型解决方案 PDMLP，用于长期时间序列预测任务，并在多个真实数据集上实现了最先进的结果。

    May, 2024

  • TSMixer: 一种基于全 MLP 的时间序列预测架构

    本文研究线性模型在时间序列预测中的能力，提出了一个基于多层感知机的模型 TSMixer，通过在时间和特征维度上的混合操作提取信息。TSMixer 在常见的学术基准测试中表现出和专业模型类似的性能，在真实世界的 M5 基准测试数据集上表现出比先进模型更好的性能。本文的结果强调了有效利用交叉变量和辅助信息以提高时间序列预测性能的重要性，并且预计 TSMixer 的设计范例会为基于深度学习的时间序列预测开启新的视野。

    Mar, 2023

  • MLP-Mixer: 一种用于视觉的全 MLP 架构

    本文提出了一种基于多层感知器 (MLP) 的架构，MLP-Mixer，它不需要使用卷积和注意力机制，包含两种类型的层，一种将 MLP 应用于图像补丁，一种将 MLP 应用于补丁之间的位置信息，具有与现代 CNN 和 Transformer 相媲美的预训练和推理成本，希望鼓励更多超越 CNN 和 Transformer 的研究。

    May, 2021

  • MTS-Mixers: 因式分解时空和通道混合进行多元时间序列预测

    本文研究关注机制在时间序列预测性能上的作用，提出 MTS-Mixers 来解决捕获时间和通道互动中的交错和冗余问题，并证明了关注机制不是捕获时间依赖关系的必要条件。

    Feb, 2023

  • 基于 Patch 和 Transformer 的长期多能源负荷预测的推进

    Patchformer 是一种整合了补丁嵌入 (patch embedding) 和编码 - 解码式 Transformer 架构的新型模型，用于解决现有基于 Transformer 的模型在长期预测中难以应对复杂时间模式的问题，通过将多元时间序列数据分解为多个单元数据并将其分割为多个补丁，Patchformer 有效地提高了模型捕捉局部和全局语义依赖性的能力，数值分析表明，在新颖的多能源数据集和其他基准数据集上，Patchformer 在多元和单元长期预测中均能够获得更好的准确性，此外，研究还发现了能源相关产品之间相互依赖对 Patchformer 和其他对比模型长期时间序列预测性能的积极影响，以及 Patchformer 相对于其他模型的优越性，这在处理长期多能源预测的相互依赖性和复杂性方面具有重大的进展，最后，Patchformer 作为唯一一个模型跟踪过去序列长度与模型性能之间的正相关关系，突出了其捕捉长程过去局部语义信息的能力。

    Apr, 2024

  • PatchAD：基于补丁的 MLP-Mixer 用于时间序列异常检测

    PatchAD 是一种新颖的多尺度基于补丁的 MLP-Mixer 架构，利用对比学习进行表示提取和异常检测的方法，通过使用 MLP 架构，高效轻量化地实现了一种先进的异常检测方案。

    Jan, 2024

  • 时间序列价值 64 词：使用 Transformer 进行长期预测

    本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计，它基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序列，其在所有系列中共享相同的嵌入和 Transformer 权重。PatchTST 可以显著提高长期预测准确性，超越 SOTA Transformer-based models，并在自我监督预训练任务中实现出色的微调性能。

    Nov, 2022