TACTiS-2: 用于多元时间序列的更好、更快、更简单的注意力联合分布

Oct, 2023

TACTiS-2: 用于多元时间序列的更好、更快、更简单的注意力联合分布

TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate Time Series

Arjun Ashok, Étienne Marcotte, Valentina Zantedeschi, Nicolas Chapados, Alexandre Drouin

TL;DR多元概率时间序列预测的新模型引入了 copula 理论，提出了基于 transformer 的简化目标函数 TACTiS，其分布参数数量与变量数量成线性关系。新目标函数引入了训练计划，并对原始架构进行必要的改变。结果表明，该模型在各种真实世界预测任务中具有显著改进的训练动力学，并实现了最先进的性能，同时保持了如处理不对齐和采样不均匀的时间序列等先前工作的灵活性。

Abstract

We introduce a new model for multivariate probabilistic time series prediction, designed to flexibly address a range of tasks including forecasting, interpolation, and their combinations. Building on copula theory, we propose a simplified objective for the recently-introduced transform

multivariate probabilistic time series prediction copula theory transformer-based attentional copulas training curriculum forecasting tasks

发现论文，激发创造

TACTiS: 用于时间序列的 Transformer-Attentional Copulas

本文提出一种基于 Transformer 的方法来估计高维多变量时间序列的联合预测分布，该方法基于注意力机制的解码器能可靠地模拟非参数 Copulas 的特性，使得模型具有多种有用的属性，其中包括可以缩放到数百个时间序列，支持预测和插值，可以处理非对齐和不均匀采样的数据，并可以在训练期间无缝地适应缺失数据，最终的实证结果表明我们的模型在多个真实数据集上都可以产生有竞争力的预测效果。

Feb, 2022

PrACTiS: 基于感知与注意力的时间序列联合模型

本研究通过将感知机制与 copula 结构相结合，提出了一种模型，以增强时间序列预测。通过将感知机作为编码器，我们将复杂的、高维度、多模态数据有效地转化为紧凑的潜在空间，从而大大降低计算要求。我们进一步引入中点推断和局部注意机制来降低复杂度，使模型能够有效地捕捉缺失样本中的依赖关系。随后，我们部署基于 copula 的注意机制和输出方差测试机制，捕捉缺失数据的联合分布，并在预测过程中减轻错误传播。在单模态和多模态基准测试中，我们的实验结果显示，相对于现有方法，我们的模型在节约了一半内存资源的同时，保持了持续 20% 的改进。

Oct, 2023

基于并行时空注意力的 TCN 模型用于多元时间序列预测

该论文介绍了一种新的框架 PSTA-TCN，该框架将并行时空关注机制与轴承温网络相结合，从而达到了更长的记忆，并且使用并行计算大大缩短了训练时间，可以更好地用于多元时间序列预测任务。

Mar, 2022

RITA：基于组注意力机制的时间序列分析

使用一种称为 group attention 的注意力机制，结合最新的 Transformer 模型，提出了一种名为 RITA 的时间序列分析工具，采用动态的调度器来适应不同的训练过程，并在准确性和速度上显著胜过现有最先进方法。

Jun, 2023

时间序列分类中注意力机制的反思

本文提出了一种灵活的多头线性注意力（FMLA）方法，通过与可变形卷积块和在线知识蒸馏进行分层交互来提高局部感知能力。此外，我们还提出了一种简单但有效的掩码机制，以减少时间序列中的噪声影响并降低 FMLA 的冗余。通过多次以随机掩码层转发样本并聚合其输出来稳定此机制，并将其与 11 种已知算法进行比较，结果表明我们的算法在 top-1 准确性方面具有可比性，并以浮点运算每秒和参数数量方面将其与三种基于 Transformer 的模型进行比较，发现我们的算法在更低的复杂度下实现了更好的效率。

Jul, 2022

变量时间序列变压器中的关联注意力

我们提出了一种新颖的相关注意力机制，能够高效地捕捉多元时间序列数据中不同特征之间的复杂相互关系，并能够与现有的基于 Transformer 的模型无缝集成，提高效率。在多种任务中，包括插补、异常检测和分类，相关注意力机制与先前的 Transformer 模型相结合，形成了更好的编码器架构，并且取得了先进的结果。

Nov, 2023

使用时间序列注意力变换器将多元时间序列表达为图形

该研究提出了一个名为 TSAT 的多元时间序列表示学习方法，使用动态图来表示时间信息和各变量间的相互关系，并将其应用于时间序列预测问题，实验证明 TSAT 的预测性能显著优于六种先进方法。

Aug, 2022

MTS-Mixers: 因式分解时空和通道混合进行多元时间序列预测

本文研究关注机制在时间序列预测性能上的作用，提出 MTS-Mixers 来解决捕获时间和通道互动中的交错和冗余问题，并证明了关注机制不是捕获时间依赖关系的必要条件。

Feb, 2023

自注意力是否对时间序列预测有效？

我们介绍了一个新的架构，交叉注意力时间序列变换器（CATS），它通过消除自注意力并利用交叉注意力机制来重新思考传统 Transformer 框架，不仅提高长期预测精度，还减少参数和内存使用。大量对各种数据集进行的实验表明，我们的模型在最小均方误差和参数使用方面实现了卓越的性能。

May, 2024

一种内存高效 Transformer 的分组自注意机制

提出了两个新的模块，Grouped Self-Attention 和 Compressed Cross-Attention，可在小超参数限制下实现序列长度为 $l$ 的 $O (l)$ 的计算空间和时间复杂度，并且可以捕捉局部的同时考虑全局信息，实验表明，预测时间序列数据时，我们提出的模型展示了降低计算复杂度的高效性，且性能可与现有方法相当甚至更好。

Oct, 2022