DeformTime: 基于可变注意力的变形依赖捕捉用于时间序列预测

Jun, 2024

DeformTime: 基于可变注意力的变形依赖捕捉用于时间序列预测

DeformTime: Capturing Variable Dependencies with Deformable Attention for Time Series Forecasting

Yuxuan Shu, Vasileios Lampos

TL;DRDeformTime 是一个神经网络架构，旨在通过变量 DAB 和时间 DAB 来捕捉输入空间的相关时间模式，从而提高多元时间序列预测准确性。在 6 个多元时间序列数据集上进行了大量实验，结果表明 DeformTime 在绝大多数预测任务中都提高了准确性，平均减少了 10% 的平均绝对误差，并且性能提升在较长的预测时间范围内保持一致。

Abstract

In multivariate time series (MTS) forecasting, existing state-of-the-art deep learning approaches tend to focus on autoregressive formulations and overlook the information within exogenous indicators. To address

multivariate time series deep learning exogenous indicators deformtime forecasting accuracy

发现论文，激发创造

DBT-DMAE：一种在缺失数据下有效的多变量时间序列预训练模型

本文提出了一种通用的 MTS 预训练模型 DBT-DMAE，其中包括缺失表示模块，并给出了一个自编码器结构以获得 MTS 的编码表示，最后建立整体馈送和丢失策略以确保模型的充分训练。实验结果表明，DBT-DMAE 在 6 个真实数据集和 2 个不同的下游任务中均优于其他最先进的方法，并进行了剖析和可解释性实验以验证其有效性。

Sep, 2022

变量时间序列变压器中的关联注意力

我们提出了一种新颖的相关注意力机制，能够高效地捕捉多元时间序列数据中不同特征之间的复杂相互关系，并能够与现有的基于 Transformer 的模型无缝集成，提高效率。在多种任务中，包括插补、异常检测和分类，相关注意力机制与先前的 Transformer 模型相结合，形成了更好的编码器架构，并且取得了先进的结果。

Nov, 2023

多尺度变压器金字塔网络用于多变量时间序列预测

使用多尺度 Transformer 的多变量时间序列预测中，引入了不变量嵌入技术用于捕捉短期时间依赖并将数据投射到高维空间，同时保留时间步和变量维度。进一步，提出了一种新颖的 Multi-scale Transformer 金字塔网络 (MTPNet), 用于有效地捕捉多个不受约束尺度上的时间依赖。在九个基准数据集上的广泛实验证明，提出的 MTPNet 优于最新的先进方法。

Aug, 2023

可变形视频转换器

本研究提出了 Deformable Video Transformer，利用动态预测小型视频数据块，根据运动信息决定模型在哪里观察视频，并优化变形注意机制，以获得更高的精度和更低的计算成本。

Mar, 2022

使用时间序列注意力变换器将多元时间序列表达为图形

该研究提出了一个名为 TSAT 的多元时间序列表示学习方法，使用动态图来表示时间信息和各变量间的相互关系，并将其应用于时间序列预测问题，实验证明 TSAT 的预测性能显著优于六种先进方法。

Aug, 2022

Dozerformer: 序列自适应稀疏 Transformer 用于多变量时间序列预测

基于 Dozer Attention 机制的 Dozerformer 框架在多元时间序列（MTS）预测任务中取得了出色的性能，该机制通过解决注意力机制中的两个关键限制，即二次时间复杂度和基于整个历史序列生成未来值的问题，来捕捉 MTS 数据的局部性、季节性和全局时间依赖性。

Dec, 2023

适应性提取网络用于多元长序列时间序列预测

多分辨率卷积和可变形卷积操作的自适应时变卷积网络（ATVCNet）在多变量时间序列的局部 / 全局时间依赖和变量间依赖建模方面取得了显著改进，通过不同扩张因子的卷积核扩大感受野以捕捉不同分辨率间的时间相关信息，并通过附加的偏移向量自适应调整采样位置，增强网络捕捉变量间相关特征的能力，通过提取和融合不同分辨率的时间序列特征，在时间序列中捕捉到了局部背景信息和全局模式，并且设计的变量间特征自适应提取模块捕捉了时间序列中不同变量间的相关性，实验结果表明，ATVCNet 相较于现有的 MLSTF 模型性能提高了近 63.4%。

May, 2024

多尺度自适应图神经网络用于多元时间序列预测

本研究提出了一种名为 MAGNN 的多尺度自适应图神经网络方法，用于预测多元时间序列中的内部变量相关性和跨变量相关性，通过多尺度金字塔网络和自适应图学习模块以及尺度级融合模块能够更好地处理不同时间尺度和相关性，实验证明，MAGNN 在多个数据集上都优于现有的方法。

Jan, 2022

MTS-Mixers: 因式分解时空和通道混合进行多元时间序列预测

本文研究关注机制在时间序列预测性能上的作用，提出 MTS-Mixers 来解决捕获时间和通道互动中的交错和冗余问题，并证明了关注机制不是捕获时间依赖关系的必要条件。

Feb, 2023

VCformer：具有内在滞后相关性的多元时间序列预测中的变量相关变压器

多元时间序列预测：提出了 Variable Correlation Transformer (VCformer) 模型，通过 Variable Correlation Attention (VCA) 模块挖掘变量之间的相关性，并结合 Koopman Temporal Detector (KTD) 来处理时间序列的非平稳性，实验证明 VCformer 在真实数据集上取得了优异的性能。

May, 2024