使用 TiDE 进行长期时间序列预测的稠密编码器

Apr, 2023

使用 TiDE 进行长期时间序列预测的稠密编码器

Long-term Forecasting with TiDE: Time-series Dense Encoder

Abhimanyu Das, Weihao Kong, Andrew Leach, Rajat Sen, Rose Yu

TL;DR提出了一种基于多层感知器的编码器 - 解码器模型 TiDE，用于长期时间序列预测，实现了线性模型的简单和速度，同时还能处理协变量和非线性依赖关系。在理论上，我们证明了最简单的线性模型在某些假设下可以实现近似最优的误差率。在实验上，我们展示了我们的方法可以匹配或胜过以前的方法，在流行的长期时间序列预测基准测试中比最佳基于 Transformer 的模型快 5-10 倍。

Abstract

Recent work has shown that simple linear models can outperform several Transformer based approaches in long term time-series forecasting. Motivated by this, we propose a multi-layer perceptron (MLP) based encoder-decode

long-term time-series forecasting multi-layer perceptron encoder-decoder model linear dynamical systems tide

发现论文，激发创造

深度学习时间序列预测综述

本文概述了深度学习建模在时序数据领域的应用，介绍了单步和多步预测中通用的编码器和解码器的设计，分析了每一种方法如何加入时间信息以提高预测结果。接下来，介绍了深度学习和统计模型的混合模型在时间序列预测中的最新进展，最后讨论了深度学习如何为决策支持提供便利。

Apr, 2020

走一条非规则路径：增强时间序列预测变压器的解码器

提出了利用 FPPformer 在时间序列预测 Transformer 中设计全面和合理的层次结构，从而验证了其在六个最新基准测试中的显著性能，并且 decoder 在时间序列预测中的精心设计的重要性。

Dec, 2023

Stecformer: 空间 - 时间编码叠加变换器用于多元长期时间序列预测

本研究提出了一种完整的解决方案，包括特征提取和目标预测，旨在解决多变量长期时间序列预测中的空间特征提取和不同预测时期的一致性问题。新的方法称为 “时空编码串联变压器（Stecformer）”，其采用高效的时空编码提取器和级联解码预测器来改善基线模型的性能，并在五个基准数据集上实现了与基线模型可比较的最先进性能。

May, 2023

PDETime：从偏微分方程角度重新思考长期多元时间序列预测

深度学习中的长期多变量时间序列预测 (LMTF) 模型的研究进展表明，基于历史数值和基于时间索引的模型在处理多变量时间序列时能更准确地预测未来值，而本文介绍的 PDETime 模型在实验中表现出优异的适应性和最先进的结果

Feb, 2024

深度学习和基础模型在时间序列预测中的调查

深度学习在时间序列预测方面取得了显著优势，然而在大流行预测领域仍存在挑战，如训练数据不足和模型的可解释性。此文献综述了几种先进的建模技术，并提供了进一步研究的建议。

Jan, 2024

面向时间序列预测的仅解码器基础模型

基于大型语言模型的自然语言处理，我们设计了一个时间序列基础模型用于预测，在各种公共数据集上，模型的开箱即用的零射的表现接近各个数据集的最先进的监督预测模型准确度。模型基于对大型时间序列语料库进行预训练的修补解码器样式注意力模型，并且可以适用于不同的预测历史长度、预测长度和时间粒度。

Oct, 2023

深度学习下重新思考时间序列预测：一步前行两步退后

本文介绍了 Transformer 在时间序列预测方面的应用，探讨了其局限性，并提出了一系列更好的性能和更少复杂度的其他模型。

Apr, 2023

时间序列价值 64 词：使用 Transformer 进行长期预测

本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计，它基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序列，其在所有系列中共享相同的嵌入和 Transformer 权重。PatchTST 可以显著提高长期预测准确性，超越 SOTA Transformer-based models，并在自我监督预训练任务中实现出色的微调性能。

Nov, 2022

实现长期时间序列预测：特征、模式和分布

本论文讨论了长期时间序列预测 (LTTF) 中的 Transformer 模型，提出了一种有效的基于 Transformer 的模型 Conformer，采用编码器 - 解码器架构和正则化流派生的模块进一步提高信息利用率，并显式地建模时间序列数据中的互系列相关性和时间动态以加强下游自我关注机制，实验表明 Conformer 模型在 LTTF 中优于现有的方法，并可生成可靠的预测结果与不确定性量化。

Jan, 2023

基于 Transformer 的长期时间序列预测的系统综述

深度学习在时间序列预测方面取得了显著进展，其中 Transformer 架构在处理长序列的语义相关性方面表现出色。研究综述了 Transformer 架构及其改进方法在长期时间序列预测任务中的应用，总结了公开的长期时间序列预测数据集和评估指标，并提供了关于在时间序列分析中有效训练 transformers 的最佳实践和技术，最后提出了该领域的潜在研究方向。

Oct, 2023