Apr, 2024

TSLANet：重新思考时间序列表示学习的 Transformer

PDF
TL;DR为了应对时间序列数据的长期和短期相关性，我们引入了一种新颖的时间序列轻量级适应网络（TSLANet），它是一种用于不同时间序列任务的通用卷积模型。我们通过引入自适应阈值、傅里叶分析和自我监督学习来增强特征表示、捕捉长期和短期交互并减少噪声。我们的实验证明，TSLANet 在分类、预测和异常检测等各种任务中表现优于现有模型，展示了其在不同噪声水平和数据规模下的稳健性和适应性。
time series datatransformer-based modelstime series lightweight adaptive networkadaptive spectral blockinteractive convolution block
发现论文，激发创造
  • TLNets：用于长序列时间序列预测的转换学习网络

    提出了基于变换的网络架构设计计划，包括傅里叶变换、奇异值分解、矩阵乘法和卷积块。这些变换机制在学习中具有增强的可接受范围，可以跨尺度融合特征。经过多次测试比较，基于该设计计划的 TLNets 在长期时间序列预测方面表现有明显的潜力。

    May, 2023

  • 利用深度神经网络建模长短期时间模式

    本文提出了一个新的深度学习框架 —— Long- and Short-term Time-series network (LSTNet)， 用于解决多元时间序列预测等问题，并在复杂混合循环模式数据上实现了显著的性能提升。

    Mar, 2017

  • UnetTSF: 一种性能更好的线性复杂度时间序列预测模型

    该论文提出了一种线性复杂度的 U-Net 时间序列预测模型（UnetTSF），采用了 U-Net 架构，并首次使用 FPN 技术从时间序列数据中提取特征，替代了将时间序列数据分解为趋势和季节项的方法，同时设计了适用于时间序列数据的融合结构。在 8 个开源数据集上的测试中，相比最佳线性模型 DLiner，在 32 个测试项目中有 31 个获得最佳结果。平均 mse 减少了 10.1％，平均 mae 减少了 9.1％。与复杂的基于 Transformer 的 PatchTST 相比，UnetTSF 在 32 个测试项目中获得了 9 个 mse 的最优结果和 15 个 mae 的最优结果。

    Jan, 2024

  • 时间序列价值 64 词：使用 Transformer 进行长期预测

    本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计，它基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序列，其在所有系列中共享相同的嵌入和 Transformer 权重。PatchTST 可以显著提高长期预测准确性，超越 SOTA Transformer-based models，并在自我监督预训练任务中实现出色的微调性能。

    Nov, 2022

  • 时间序列表示模型

    我们提出了一种基于内省的时间序列分析的新架构概念，其中关键是自监督预训练的时间序列表示模型（TSRM），可以在自动化和资源高效的方式下进行定制和微调，以实现特定任务，如预测和插补。我们的架构通过灵活和分层的表示学习过程对抗缺失数据和异常值，能够捕捉和学习给定时间序列类别（如心率数据）的结构、语义和关键模式的本地和全局特征。与现有方法相比，我们的架构提高了插补和预测误差，分别高达 90.34％和 71.54％，同时减少了可训练参数高达 92.43％。

    May, 2024

  • 轻采样导向的 MLP 结构在多元时间序列快速预测中的应用

    本文介绍了 LightTS，一种基于简单的 MLP 结构和两种精细的下采样策略的轻量级深度学习架构，用于多元时间序列预测，它具有高效、鲁棒和与先前 SOTA 方法相比更好的性能优势。

    Jul, 2022

  • 基于 Transformer 的长期时间序列预测的系统综述

    深度学习在时间序列预测方面取得了显著进展，其中 Transformer 架构在处理长序列的语义相关性方面表现出色。研究综述了 Transformer 架构及其改进方法在长期时间序列预测任务中的应用，总结了公开的长期时间序列预测数据集和评估指标，并提供了关于在时间序列分析中有效训练 transformers 的最佳实践和技术，最后提出了该领域的潜在研究方向。

    Oct, 2023

  • 实现长期时间序列预测：特征、模式和分布

    本论文讨论了长期时间序列预测 (LTTF) 中的 Transformer 模型，提出了一种有效的基于 Transformer 的模型 Conformer，采用编码器 - 解码器架构和正则化流派生的模块进一步提高信息利用率，并显式地建模时间序列数据中的互系列相关性和时间动态以加强下游自我关注机制，实验表明 Conformer 模型在 LTTF 中优于现有的方法，并可生成可靠的预测结果与不确定性量化。

    Jan, 2023

  • TTS-GAN: 基于 Transformer 的时间序列生成对抗网络

    介绍了一种基于 transformer 的生成对抗网络用于扩充时间序列的数据大小，实现了能够生成与真实数据序列类似的合成时间序列数据。

    Feb, 2022

  • LSTTN: 基于长短期转换器的时空神经网络在线交通流预测

    基于长短期特征的 LSTTN 框架通过利用空时图神经网络以及变换器进行时序流量预测，能够有效地学习和提取交通流的复杂趋势和周期特征，实验证明其在长期预测方面相对于基准模型有最大 16.78% 的改进。

    Mar, 2024