KDDJun, 2023

TSMixer：多元时间序列预测的轻量级 MLP-Mixer 模型

PDF
TL;DRTSMixer 是一个轻量级的神经架构，由多层感知机模块组成，旨在为补丁时间序列提供高效的替代转换器。通过添加在线对账头，混合通道建模和简单的门控关注机制等组件，TSMixer 的学习能力得到显著提高。TSMixer 在预测方面的性能优于现有的 MLP 和 Transformer 模型，同时可显著减少存储器和运行时间。
发现论文，激发创造
  • TSMixer: 一种基于全 MLP 的时间序列预测架构

    本文研究线性模型在时间序列预测中的能力，提出了一个基于多层感知机的模型 TSMixer，通过在时间和特征维度上的混合操作提取信息。TSMixer 在常见的学术基准测试中表现出和专业模型类似的性能，在真实世界的 M5 基准测试数据集上表现出比先进模型更好的性能。本文的结果强调了有效利用交叉变量和辅助信息以提高时间序列预测性能的重要性，并且预计 TSMixer 的设计范例会为基于深度学习的时间序列预测开启新的视野。

    Mar, 2023

  • MTS-Mixers: 因式分解时空和通道混合进行多元时间序列预测

    本文研究关注机制在时间序列预测性能上的作用，提出 MTS-Mixers 来解决捕获时间和通道互动中的交错和冗余问题，并证明了关注机制不是捕获时间依赖关系的必要条件。

    Feb, 2023

  • PatchMixer：长期时间序列预测的补丁混合架构

    通过引入一种新颖的 CNN 模型 ——PatchMixer，我们解决了 Transformer 模型在时间序列预测任务中面临的挑战，该模型具有可以保留时间信息的排列不变自注意力机制。与传统 CNN 不同的是，我们的方法仅依赖于深度可分离卷积，可以在单一尺度的结构中提取局部特征和全局相关性。试验结果表明，与现有最先进的方法和表现最佳的 CNN 相比，PatchMixer 相对提升了分别为 3.9％和 21.2％，而且速度是最先进方法的 2-3 倍。我们将发布我们的代码和模型。

    Oct, 2023

  • TTMs：用于提升多变量时间序列的零样本和少样本预测的快速多层微型时间混合器

    利用预训练模型进行时间序列预测方面的研究，提出了 Multi-level Tiny Time Mixers（TTM）方法，通过小型模型、自适应补丁、数据增强和分辨率前缀调整来有效地模拟跨通道相关性和整合外部信号，实现了显著的准确性提升和参数规模大幅减小。

    Jan, 2024

  • 利用敏锐感知最小化和通道关注解锁 Transformers 在时间序列预测中的潜力

    通过研究一个玩具线性预测问题，我们发现变压器尽管具有高表达能力，但不能收敛于真实解，这是由于其注意力机制的低泛化能力。基于这一发现，我们提出了一种浅层轻量级变压器模型，在利用尖锐感知优化时能够成功逃离糟糕的局部最小值。我们通过实验证明这一结果在所有常用的多变量时间序列数据集上成立，并且 SAMformer 平均超过当前最先进模型 TSMixer 14.33%，同时参数数量仅为其四分之一。

    Feb, 2024

  • 轻采样导向的 MLP 结构在多元时间序列快速预测中的应用

    本文介绍了 LightTS，一种基于简单的 MLP 结构和两种精细的下采样策略的轻量级深度学习架构，用于多元时间序列预测，它具有高效、鲁棒和与先前 SOTA 方法相比更好的性能优势。

    Jul, 2022

  • 提升 BizITOps 数据的多变量时间序列预测的自动混合器

    利用 AutoMixer 模型对 Biz-KPI 进行预测，提高了预测准确性，并产生实用的商业见解。

    Oct, 2023

  • HyperMixer：基于 MLP 的绿色 AI 替代 Transformer

    本文提出 HyperMixer 模型，通过使用超网络动态形成令牌混合 MLP 实现自然语言理解，相比于现有的 MLP-based 模型和 Transformer，在处理时间、训练数据和超参数调整方面具有更低的成本，并在实证中表现更好。

    Mar, 2022

  • MambaMixer: 高效选择性状态空间模型与双令牌和通道选择

    MambaMixer 是一种基于 State Space Models 的新型架构，通过数据依赖的权重使用选择性令牌和通道混合的方法，提供有效的长序列建模，在各种视觉和时间序列预测任务中展现出竞争性性能和显著改进的计算成本。

    Mar, 2024

  • 时间序列价值 64 词：使用 Transformer 进行长期预测

    本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计，它基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序列，其在所有系列中共享相同的嵌入和 Transformer 权重。PatchTST 可以显著提高长期预测准确性，超越 SOTA Transformer-based models，并在自我监督预训练任务中实现出色的微调性能。

    Nov, 2022