Dec, 2022

FECAM: 时间序列预测的频率增强通道注意机制

PDF
TL;DR本研究提出了一种新的频率增强通道注意力机制，可以自适应地建模通道之间的频率相互依赖关系，避免傅里叶变换中出现的问题性周期性引起的高频噪声，目的是改善当前主流网络的预测能力，并显示出良好的性能。
time series forecastingfrequency information extractiondiscrete cosine transformfrequency enhanced channel attentionneural networks
发现论文，激发创造
  • FcaNet: 频率通道注意力网络

    该论文提出了在频域进行特征分解以解决通道表示问题的方法，使用多光谱通道注意力机制来实现通道压缩，并在图像分类、物体检测和实例分割任务上取得了优异的效果。

    Dec, 2020

  • FAITH: 时间序列预测中的频域关注在两个视野中

    提出了一种新的模型 FAITH，通过多尺度序列自适应分解和融合架构将时间序列分解为趋势和季节成分并分别处理，利用频域进行特征提取和处理，显著提高了处理长期依赖和复杂模式的能力，在长期和短期的时间序列预测任务中优于现有模型。

    May, 2024

  • 通道和序列的舞动：一种高效的基于注意力的多元时间序列预测方法

    我们介绍了 CSformer 模型，它通过精心设计的两阶段自注意机制实现了序列特定和通道特定信息的提取，并引入了序列适配器和通道适配器，以促进各个维度之间的协同和相互增强，从而显著提高了多变量时间序列数据的特征提取能力。

    Dec, 2023

  • 多元时间序列预测的时间模式关注

    本文提出了一种基于循环神经网络带有注意力机制和频域信息的多元时间序列预测方法，并在多项实际应用任务中实现了最佳性能。

    Sep, 2018

  • SFANet：面向天气预报的空间频率注意力网络

    提出了 Spatial-Frequency Attention Network（SFANet），这是一个新颖的深度学习框架，通过解决传统方法难以捕捉气象系统复杂动力学的问题，在高分辨率数据存在的情况下提高时空天气预测的准确性。通过整合先进的令牌混合和注意机制，SFANet 优化处理高维时空序列的过程，以捕捉组件间的关系信息和建模广泛的长距离关系。具有空间频率注意模块的 SFANet 能够捕捉复杂的跨模态相关性，并在两个不同数据集上展示了惊人的性能，证明其在预测降水模式和预测 El Niño 事件方面具有卓越的能力。

    May, 2024

  • 基于注意力机制的频率多任务学习用于电力系统故障检测

    本文介绍了一种基于深度学习的故障检测方法，利用高精度的数据采集设备收集数据来训练模型，并使用长短时记忆网络和一维卷积神经网络来提取时序特征和频率信息进行故障预测，在 Kaggle 平台上的结果表明该方法具有更好的性能和解释性。

    Sep, 2020

  • 利用图注意力和频率增强机制提高短期风速预测的准确性

    本文提出了一种基于图注意力和频率增强机制的图注意力频率增强时空风速预测模型 (GFST-WSF)，该模型采用变压器架构进行时间特征提取，并采用图注意力网络 (GAT) 进行空间特征提取，从而提高短期风速预测的准确性。在案例研究中，GFST-WSF 在 6-24 小时预测范围内的风速预测中表现出比其他基线更好的性能。

    May, 2023

  • 注意力作为稳健的时间序列预测表示

    我们的研究表明，利用全局标记和局部窗口构建的注意力图作为数据点的稳健核表示，可以提高时间序列的预测准确性，并且在不改变核心神经网络结构的情况下，我们的方法胜过了最先进的模型，将多变量时间序列预测的均方误差 (MSE) 降低了显著的 3.6%。它是一个通用的组件，可以轻松替代最近的基于分块的嵌入方案，提升基于 transformer 模型的性能。

    Feb, 2024

  • FTMixer：时间序列建模的频率和时域表示融合

    为了捕捉局部和全局依赖关系，我们在频域和时域中引入了频域与时域混合器 (FTMixer) 来表示时间序列数据，通过频率通道卷积模块 (FCC) 和窗口频率卷积模块 (WFC) 来分别捕捉全局和局部依赖关系。同时，采用独立通道方案混合时域和频域补丁以更好地捕捉局部依赖关系。通过七个真实世界的长期时间序列数据集的广泛实验结果表明，FTMixer 在预测性能和计算效率方面具有优势。

    May, 2024

  • 时间序列分类中注意力机制的反思

    本文提出了一种灵活的多头线性注意力（FMLA）方法，通过与可变形卷积块和在线知识蒸馏进行分层交互来提高局部感知能力。此外，我们还提出了一种简单但有效的掩码机制，以减少时间序列中的噪声影响并降低 FMLA 的冗余。通过多次以随机掩码层转发样本并聚合其输出来稳定此机制，并将其与 11 种已知算法进行比较，结果表明我们的算法在 top-1 准确性方面具有可比性，并以浮点运算每秒和参数数量方面将其与三种基于 Transformer 的模型进行比较，发现我们的算法在更低的复杂度下实现了更好的效率。

    Jul, 2022