Dec, 2023

通道和序列的舞动：一种高效的基于注意力的多元时间序列预测方法

PDF
TL;DR我们介绍了 CSformer 模型，它通过精心设计的两阶段自注意机制实现了序列特定和通道特定信息的提取，并引入了序列适配器和通道适配器，以促进各个维度之间的协同和相互增强，从而显著提高了多变量时间序列数据的特征提取能力。
predictive modelsmultivariate time series analysischannel independencecsformerfeature extraction
发现论文，激发创造
  • MTS-Mixers: 因式分解时空和通道混合进行多元时间序列预测

    本文研究关注机制在时间序列预测性能上的作用，提出 MTS-Mixers 来解决捕获时间和通道互动中的交错和冗余问题，并证明了关注机制不是捕获时间依赖关系的必要条件。

    Feb, 2023

  • 基于互信息驱动的跨变量和时序建模的多元时间序列预测增强

    通过引入 Cross-variable Decorrelation Aware feature Modeling (CDAM) 和 Temporal correlation Aware Modeling (TAM) 技术，本研究提出了一种新的框架，通过最小化通道之间的冗余信息并增强相关的相互信息来改进 Channel-mixing 方法，在综合测试中明显超过了现有模型。

    Mar, 2024

  • 容量与鲁棒性的权衡：重新审视适用于多元时间序列预测的通道独立策略

    本文对多元时间序列数据的特征和 Channel Independent/Channel Dependent 策略进行了综合实证和理论分析，结果表明，CD 方法具有更高的容量，但常常缺乏精确预测分布漂移时间序列的鲁棒性，而 CI 方法则是在容量和鲁棒性之间进行权衡的。因此我们提出了 PRReg 方法来解决容量和鲁棒性之间的困境，并超越了 CI 策略，希望能提高研究人员对多元时间序列数据的认识并启发更好的预测模型的构建。

    Apr, 2023

  • MCformer：混合通道 Transformer 的多元时间序列预测

    基于 Mixed Channels 策略，本文提出了 MCformer 作为一种混合通道特征的多变量时间序列预测模型，通过注意力机制有效捕捉了通道间相关信息从而在多变量时间序列预测任务中胜过了纯 CI 策略。

    Mar, 2024

  • C-Mamba: 增强通道关联的状态空间模型用于多变量时间序列预测

    提出了一种名为 C-Mamba 的基于状态空间模型的多变量时间序列预测方法，通过混合通道和通道注意力增强的方式来捕捉跨通道依赖关系，获得了在七个真实世界时间序列数据集上的最先进性能，同时其混合和注意力策略在其他框架中表现出强大的泛化能力。

    Jun, 2024

  • FECAM: 时间序列预测的频率增强通道注意机制

    本研究提出了一种新的频率增强通道注意力机制，可以自适应地建模通道之间的频率相互依赖关系，避免傅里叶变换中出现的问题性周期性引起的高频噪声，目的是改善当前主流网络的预测能力，并显示出良好的性能。

    Dec, 2022

  • 多元时间序列预测的时间模式关注

    本文提出了一种基于循环神经网络带有注意力机制和频域信息的多元时间序列预测方法，并在多项实际应用任务中实现了最佳性能。

    Sep, 2018

  • 从相似到卓越：用于时间序列预测的通道聚类

    时间序列预测中，通过引入一种能平衡个体通道处理和通道间关联的渠道策略，我们研发了可提升预测性能的通道聚类模块。在实验中，该模块通过提高长期和短期预测的性能分别平均提升 2.4% 和 7.2%，并使得主流时间序列预测模型能够进行零 - shot 预测，揭示通道间的内在时间序列模式和改善复杂时间序列模型的解释性。

    Mar, 2024

  • 变量时间序列变压器中的关联注意力

    我们提出了一种新颖的相关注意力机制，能够高效地捕捉多元时间序列数据中不同特征之间的复杂相互关系，并能够与现有的基于 Transformer 的模型无缝集成，提高效率。在多种任务中，包括插补、异常检测和分类，相关注意力机制与先前的 Transformer 模型相结合，形成了更好的编码器架构，并且取得了先进的结果。

    Nov, 2023

  • 多通道时空变换器模型的交通流量预测

    提出了一个多通道时空变换模型用于交通流量预测，通过融合来自不同通道的交通数据结果，改善了预测准确性。该模型使用图卷积网络从每个通道提取空间特征，并使用基于变换器的体系结构捕捉通道之间的时间依赖性。在六个真实数据集上的实验证明，引入多通道机制到时间模型中提高了性能，并且在准确性方面优于现有模型。

    May, 2024