Jul, 2023

U 型 Transformer：在时间序列分析中保留高频上下文

PDF
TL;DR时间序列预测是各个工业领域中的关键任务。近年来，具备变换器骨干的神经网络在计算机视觉和自然语言处理等多个领域中取得了显著成功。在时间序列分析领域，一些研究发现即使是最简单的多层感知机网络在时间序列预测任务上也能胜过先进的基于变换器的网络。然而，我们认为这些发现表明时间序列序列中存在低秩特性。本文中，我们考虑了变换器的低通特性，并试图融入多层感知机的优点。我们在传统的变换器骨干中采用了受 Unet 启发的跳跃连接，从而保留了从输入到输出的高频率上下文，即 U 型变换器。我们引入了补丁合并和分割操作，以提取不同尺度的特征，并利用更大的数据集充分利用变换器骨干。我们的实验表明，该模型在多个数据集上表现出较高水平的性能，并具有相对较低的成本。
time series predictionneural networkstransformer backbonelow-rank propertiesu-shaped transformer
发现论文，激发创造
  • Yformer: 基于 U-Net 的 Transformer 架构用于远视时间序列预测

    该论文提出了一种基于 Y-shaped 编码器 - 解码器结构的 Yformer 模型，结合稀疏注意力和下采样上采样过程，通过在四个基准数据集上进行的实验结果显示，该模型相比当前最先进的模型在一元和多元场景下的平均改进率分别为 19.82％和 18.41％MSE 和 13.62％和 11.85％MAE。

    Oct, 2021

  • 深度学习下重新思考时间序列预测：一步前行两步退后

    本文介绍了 Transformer 在时间序列预测方面的应用，探讨了其局限性，并提出了一系列更好的性能和更少复杂度的其他模型。

    Apr, 2023

  • 一种基于 Transformer 的多变量时间序列框架：以剩余使用寿命预测为例

    提出了一种基于编码器 - Transformer 结构的多元时间序列预测框架，用于预测系统剩余可用寿命，与其他 13 种当前最先进模型相比，其性能提升了平均 137.65%。

    Aug, 2023

  • 频域多层感知机在时间序列预测中的更高学习能效

    将 MLP 应用于频域的时间序列预测方法称为 FreTS，并在 13 个真实世界基准测试中展现出与现有方法相比的显著优势。

    Nov, 2023

  • 应用注意力机制的 Transformer 模型进行下一帧和时间序列预测

    测试和评估在时间序列数据上应用 Transformer 模型的有效性，通过调整超参数、预处理数据、应用降维或卷积编码等方式来解决异常检测、上下文感知和空间复杂性问题，同时探索修改现有解决方案以实现更高性能和学习广义知识的方法。

    Aug, 2021

  • iTransformer: 倒置变换器用于时间序列预测的有效性

    在这项工作中，我们反思了 Transformer 组件的能力，并重新设计了 Transformer 架构，而无需对基本组件进行任何调整。我们提出了 iTransformer 模型，这个模型通过反转注意力机制和前馈网络的职责，以实现对多变量时间序列的预测。iTransformer 模型在几个真实世界的数据集上取得了一致的最先进表现，进一步增强了 Transformer 家族的性能、广泛适用于不同变量、更好地利用任意回望窗口，成为时间序列预测的基本骨干的一个很好的替代方案。

    Oct, 2023

  • 基于 Swin Transformer 和多尺度 MLP 的高效 U 形架构用于医学图像分割的 STM-UNet

    本文提出了一种基于 Swin Transformer 和多尺度 MLP 的高效 U 形架构，即 STM-UNet，用于医学图像分割，旨在有效利用 Transformer 和 MLP 以提高模型性能和全局特征建模能力，设计了一种新型 PCAS-MLP 并将其放置到架构的 “瓶颈” 中，提高了分割性能。实验结果表明，我们提出的方法在 ISIC2016 和 ISIC2018 方面优于其他状态下最先进的方法，同时在高分割准确性和低模型复杂性之间取得了更好的平衡。

    Apr, 2023

  • 时间序列中的 Transformers: 一项综述

    本文系统地回顾了 Transformer 在时间序列建模中的运用，总结了其优点、局限性以及在网络结构、应用方面的适应性和修改，并对常见的时间序列任务进行了分类，包括预测、异常检测和分类。通过实证分析，研究了 Transformer 在时间序列中的表现，并提出了未来研究方向。这是第一篇全面系统地总结 Transformer 近期在时间序列数据建模领域进展的论文。

    Feb, 2022

  • 具有注意力联邦聚合的时间序列股票预测的 Transformer

    我们提出了一种关注的联邦变压器，用于时间序列股票预测，在保护参与企业的隐私的同时具备更好的性能。关于从雅虎金融网站获取的各种股票数据的实证结果显示了我们提出的方案在处理上述挑战和联邦学习中的数据异质性方面的优越性。

    Jan, 2024

  • 实现长期时间序列预测：特征、模式和分布

    本论文讨论了长期时间序列预测 (LTTF) 中的 Transformer 模型，提出了一种有效的基于 Transformer 的模型 Conformer，采用编码器 - 解码器架构和正则化流派生的模块进一步提高信息利用率，并显式地建模时间序列数据中的互系列相关性和时间动态以加强下游自我关注机制，实验表明 Conformer 模型在 LTTF 中优于现有的方法，并可生成可靠的预测结果与不确定性量化。

    Jan, 2023