Jan, 2024

UnetTSF: 一种性能更好的线性复杂度时间序列预测模型

PDF
TL;DR该论文提出了一种线性复杂度的 U-Net 时间序列预测模型（UnetTSF），采用了 U-Net 架构，并首次使用 FPN 技术从时间序列数据中提取特征，替代了将时间序列数据分解为趋势和季节项的方法，同时设计了适用于时间序列数据的融合结构。在 8 个开源数据集上的测试中，相比最佳线性模型 DLiner，在 32 个测试项目中有 31 个获得最佳结果。平均 mse 减少了 10.1％，平均 mae 减少了 9.1％。与复杂的基于 Transformer 的 PatchTST 相比，UnetTSF 在 32 个测试项目中获得了 9 个 mse 的最优结果和 15 个 mae 的最优结果。
transformer-base modelsu-net time series prediction modelfpn technologylinear complexitytime series data
发现论文，激发创造
  • FPN-fusion: 增强的线性复杂度时间序列预测模型

    本研究提出了一种新颖的时间序列预测模型，FPN-fusion，具有线性计算复杂度，相比于 DLiner 具有更优越的预测性能而无需增加参数数量或计算需求。我们的模型引入了两个关键创新：首先，采用特征金字塔网络（FPN）有效地捕捉时间序列数据的特征，避免了传统趋势和季节分解；其次，开发了一个多层融合结构，无缝地整合深层和浅层特征。在八个开源数据集上的 32 个测试案例中，FPN-fusion 在 31 个案例中表现优于 DLiner，平均均方误差 (MSE) 减少 16.8% 和平均绝对误差 (MAE) 减少 11.8%。此外，与基于 Transformer 的 PatchTST 相比，FPN-fusion 在 32 个测试项目中实现了 10 个最佳 MSE 结果和 15 个最佳 MAE 结果，仅使用了 PatchTST 总计算负载的 8%。

    Jun, 2024

  • 时空线性：面向通用多元时间序列预测

    复杂多元时间序列预测中，通过简单的线性模型结构来整合时间嵌入和空间信息的 SpatioTemporal-Linear 框架优于深度学习技术中的线性模型和 Transformer 模型在多种观测和预测时长的数据集上的性能表现。

    Dec, 2023

  • UniTST: 有效建模多变量时间序列预测中的系列内和系列间依赖关系

    通过提出一种名为 UniTST 的基于 Transformer 的模型，该模型含有统一的关注机制和调度模块，可以直接建模时间序列数据中的复杂依赖关系，并在多个数据集上展现了出色的性能。

    Jun, 2024

  • TSLANet：重新思考时间序列表示学习的 Transformer

    为了应对时间序列数据的长期和短期相关性，我们引入了一种新颖的时间序列轻量级适应网络（TSLANet），它是一种用于不同时间序列任务的通用卷积模型。我们通过引入自适应阈值、傅里叶分析和自我监督学习来增强特征表示、捕捉长期和短期交互并减少噪声。我们的实验证明，TSLANet 在分类、预测和异常检测等各种任务中表现优于现有模型，展示了其在不同噪声水平和数据规模下的稳健性和适应性。

    Apr, 2024

  • Transformer 在时间序列预测中是否有效？

    通过简单的线性模型实验发现在长期时间序列预测任务中，线性模型 LTSF-Linear 的效果优于复杂的基于 Transformer 方法，这引发人们对该任务以及其他时间序列分析任务中基于 Transformer 方法的有效性的反思。

    May, 2022

  • 一种面向边缘计算的在线时间序列预测的新型高维计算框架

    将非线性低维时间序列数据映射到高维空间进行线性高维预测，以实现快速、高效和轻量级的在线时间序列预测，并使用新颖的联合训练框架适应时间序列分布的变化。TSF-HD 在短期和长期时间序列预测中表现出优越性能，推理延迟较小。

    Feb, 2024

  • FPTN：用于交通流量预测的快速纯 Transformer 网络

    本文研究通过提出一种快速的 Transformer 网络来预测交通流量，该网络能够准确地捕捉交通数据中的复杂时空依赖关系，同时大大降低了计算时间和计算资源的要求。

    Mar, 2023

  • Kernel-U-Net 多变量时序预测的层次和对称框架

    时间序列预测任务基于历史信息预测未来趋势。本文提出了一种对称和分层的框架，Kernel-U-Net，它在网络的每一层将输入序列切分成片段，然后使用内核对其进行计算。与现有的线性或 Transformer 解决方案相比，我们的模型具有三个优势：1）参数较小，2）灵活性，3）计算效率。在六个（七个中的五个）真实数据集上，Kernel-U-Net 的准确性大于或等于最先进模型的准确性。

    Jan, 2024

  • 实现长期时间序列预测：特征、模式和分布

    本论文讨论了长期时间序列预测 (LTTF) 中的 Transformer 模型，提出了一种有效的基于 Transformer 的模型 Conformer，采用编码器 - 解码器架构和正则化流派生的模块进一步提高信息利用率，并显式地建模时间序列数据中的互系列相关性和时间动态以加强下游自我关注机制，实验表明 Conformer 模型在 LTTF 中优于现有的方法，并可生成可靠的预测结果与不确定性量化。

    Jan, 2023

  • Yformer: 基于 U-Net 的 Transformer 架构用于远视时间序列预测

    该论文提出了一种基于 Y-shaped 编码器 - 解码器结构的 Yformer 模型，结合稀疏注意力和下采样上采样过程，通过在四个基准数据集上进行的实验结果显示，该模型相比当前最先进的模型在一元和多元场景下的平均改进率分别为 19.82％和 18.41％MSE 和 13.62％和 11.85％MAE。

    Oct, 2021