利用无降采样小波包特征和 Transformer 模型进行时间序列预测

Mar, 2024

利用无降采样小波包特征和 Transformer 模型进行时间序列预测

Leveraging Non-Decimated Wavelet Packet Features and Transformer Models for Time Series Forecasting

Guy P Nason, James L. Wei

TL;DR该研究综合了小波分析技术与机器学习方法，针对单变量时间序列预测提出了三个主要贡献：考虑使用带有不同消失矩的 Daubechies 小波作为非时态和时态预测方法的输入特征；比较非分解小波变换和非分解小波包变换在计算这些特征时的使用情况；在更广泛的预测方法上评估这些小波特征的应用，包括时态和非时态模型以及统计学和基于深度学习的方法，结果表明在一步向前预测的所有非时态方法中，用小波特征替换高阶滞后特征具有显著的益处，在长期预测的时态深度学习模型中，将小波特征用作输入则存在一定的效益。

Abstract

This article combines wavelet analysis techniques with machine learning methods for univariate time series forecasting, focusing on three

wavelet analysis machine learning time series forecasting daubechies wavelets deep learning-based models

发现论文，激发创造

AdaWaveNet: 自适应小波网络用于时间序列分析

此研究论文介绍了自适应小波网络（AdaWaveNet），它是一种新颖的方法，采用自适应小波变换对非平稳时间序列数据进行多尺度分析。AdaWaveNet 设计了基于 lifting scheme 的小波分解和构造机制，提供了增强的灵活性和鲁棒性，在预测、填充和高清重建等任务上表现出了优越的效果，展示了其在各种实际应用中的潜力。

May, 2024

TwinS: 重思多元时间序列预测中的非平稳性

通过小波分析验证理论并提出基于 Transformer 的 TwinS 模型，通过 Wavelet Convolution、Period-Aware Attention 和 Channel-Temporal Mixed MLP 解决非平稳周期分布问题，在多元时间序列预测任务中比主流模型表现出 SOTA 性能。

Jun, 2024

MultiWave: 基于小波分解的多尺度深层网络模型用于多变量时间序列预测

本文提出了 MultiWave 框架，采用小波分解对多变量时间序列数据进行频率分组，并结合门控机制来提高各种深度学习模型的性能。多个实验表明，MultiWave 可以准确地识别信息丰富的频率带，提高模型性能，并提供有价值的应用见解。

Jun, 2023

可训练小波神经网络用于非平稳信号

本文介绍了一种小波神经网络，该网络能够学习一个专门适合非平稳信号的滤波器组，并提高数字信号处理的可解释性和性能。实验结果表明，该网络可以快速收敛，在噪声数据上具有良好的泛化能力，并优于标准网络架构。

May, 2022

WFTNet：利用全局和局部周期性进行长期时间序列预测

本文提出了一种基于波尔均匀转换网络 (WFTNet) 的长期时间序列预测方法，WFTNet 利用了傅里叶和小波变换来提取信号中综合的时间频率信息，其中傅里叶变换捕捉全局周期模式，小波变换捕捉局部模式，此外还引入了一个周期性加权系数 (PWC) 来自适应地平衡全局和局部频率模式的重要性，丰富的时间序列数据集上的实验结果表明，WFTNet 始终优于其他最先进的基线模型。

Sep, 2023

WISE: 提高 Transformer 长序列学习能力的小波变换

本文即系统地研究了小波变换和 Transformer 之间的协同作用，提出了 WISE 范式，通过应用前向小波变换、在小波系数空间中进行非线性变换、通过反向小波变换在输入空间中重构表示的方法，用固定或自适应小波在小波空间中学习注意力可以一致地改善 Transformer 的性能，并且明显优于基于傅里叶变换的方法。

Oct, 2022

一种结合移动边界、数据分解和深度学习的新方法，用于预测复杂时间序列

本篇论文研究了如何使用单变量时间序列预测复杂时间序列（如印度季风降雨量）。作者提出了一种新的 Moving Front 方法来防止数据泄漏，并使用经验小波变换将季风降雨量分解为较简单的构成序列。所提出的 EWT-MF-LSTM 模型表现出良好的预测性能。

Mar, 2023

时间筛：通过信息瓶颈提取时间动态

我们提出了一种创新的时间序列预测模型 TimeSieve，通过使用小波变换预处理时间序列数据并引入信息瓶颈理论过滤冗余特征，提高了预测准确性和泛化能力，解决了时间序列预测中的关键问题。

Jun, 2024

WaveletFormerNet：基于 Transformer 的用于真实世界非均质和密集雾去除的小波网络

本文提出了一种基于 Transformer 和小波的网络 (WaveletFormerNet) 用于现实世界中的雾图像恢复，它通过将离散小波变换嵌入到 Vision Transformer 中来缓解由于降采样导致的图像质量损失和颜色失真，同时引入了并行卷积和特征聚合模块以提高模型的性能和泛化能力。实验结果表明，WaveletFormerNet 在雾图像恢复和计算机视觉应用中具有比现有方法更好的效果。

Jan, 2024

时间序列价值 64 词：使用 Transformer 进行长期预测

本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计，它基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序列，其在所有系列中共享相同的嵌入和 Transformer 权重。PatchTST 可以显著提高长期预测准确性，超越 SOTA Transformer-based models，并在自我监督预训练任务中实现出色的微调性能。

Nov, 2022