TACTiS: 用于时间序列的 Transformer-Attentional Copulas

ICMLFeb, 2022

TACTiS: 用于时间序列的 Transformer-Attentional Copulas

TACTiS: Transformer-Attentional Copulas for Time Series

Alexandre Drouin, Étienne Marcotte, Nicolas Chapados

TL;DR本文提出一种基于 Transformer 的方法来估计高维多变量时间序列的联合预测分布，该方法基于注意力机制的解码器能可靠地模拟非参数 Copulas 的特性，使得模型具有多种有用的属性，其中包括可以缩放到数百个时间序列，支持预测和插值，可以处理非对齐和不均匀采样的数据，并可以在训练期间无缝地适应缺失数据，最终的实证结果表明我们的模型在多个真实数据集上都可以产生有竞争力的预测效果。

Abstract

The estimation of time-varying quantities is a fundamental component of decision making in fields such as healthcare and finance. However, the practical utility of such estimates is limited by how accurately they quantify predictive uncertainty. In this work, we address the problem of

predictive uncertainty multivariate time series transformer architecture non-parametric copulas state-of-the-art predictions

发现论文，激发创造

TACTiS-2: 用于多元时间序列的更好、更快、更简单的注意力联合分布

多元概率时间序列预测的新模型引入了 copula 理论，提出了基于 transformer 的简化目标函数 TACTiS，其分布参数数量与变量数量成线性关系。新目标函数引入了训练计划，并对原始架构进行必要的改变。结果表明，该模型在各种真实世界预测任务中具有显著改进的训练动力学，并实现了最先进的性能，同时保持了如处理不对齐和采样不均匀的时间序列等先前工作的灵活性。

Oct, 2023

PrACTiS: 基于感知与注意力的时间序列联合模型

本研究通过将感知机制与 copula 结构相结合，提出了一种模型，以增强时间序列预测。通过将感知机作为编码器，我们将复杂的、高维度、多模态数据有效地转化为紧凑的潜在空间，从而大大降低计算要求。我们进一步引入中点推断和局部注意机制来降低复杂度，使模型能够有效地捕捉缺失样本中的依赖关系。随后，我们部署基于 copula 的注意机制和输出方差测试机制，捕捉缺失数据的联合分布，并在预测过程中减轻错误传播。在单模态和多模态基准测试中，我们的实验结果显示，相对于现有方法，我们的模型在节约了一半内存资源的同时，保持了持续 20% 的改进。

Oct, 2023

具有注意力联邦聚合的时间序列股票预测的 Transformer

我们提出了一种关注的联邦变压器，用于时间序列股票预测，在保护参与企业的隐私的同时具备更好的性能。关于从雅虎金融网站获取的各种股票数据的实证结果显示了我们提出的方案在处理上述挑战和联邦学习中的数据异质性方面的优越性。

Jan, 2024

变量时间序列变压器中的关联注意力

我们提出了一种新颖的相关注意力机制，能够高效地捕捉多元时间序列数据中不同特征之间的复杂相互关系，并能够与现有的基于 Transformer 的模型无缝集成，提高效率。在多种任务中，包括插补、异常检测和分类，相关注意力机制与先前的 Transformer 模型相结合，形成了更好的编码器架构，并且取得了先进的结果。

Nov, 2023

基于 Transformer 的时间序列符合预测

利用 Transformer 架构的符合预测方法通过捕捉长期记忆和长程依赖，以 Transformer 解码器作为条件分位数估计器来预测预测残差的分位数，从而估计预测区间，并通过综合实验证明该方法在模拟和真实数据上相较于现有的符合预测方法具有更好的性能。

Jun, 2024

可解释的多时段时间序列预测的时间融合变压器

介绍了一种名为 Temporal Fusion Transformer（TFT）的基于注意机制的新型深度学习模型，以高效且可解释的方式解决多步预测中存在的多个输入和时间动态性问题，在实际数据集上表现出显著的性能和可解释性。

Dec, 2019

注意力作为稳健的时间序列预测表示

我们的研究表明，利用全局标记和局部窗口构建的注意力图作为数据点的稳健核表示，可以提高时间序列的预测准确性，并且在不改变核心神经网络结构的情况下，我们的方法胜过了最先进的模型，将多变量时间序列预测的均方误差 (MSE) 降低了显著的 3.6%。它是一个通用的组件，可以轻松替代最近的基于分块的嵌入方案，提升基于 transformer 模型的性能。

Feb, 2024

用因果 Transformer 估计反事实结果

本文提出了一种基于 Transformer 的因果模型，通过特定设计的模型和训练方法，能够准确地对复杂、长期相关和混淆因素进行因果推理并估算出时间序列的反事实结果。

Apr, 2022

MTS-Mixers: 因式分解时空和通道混合进行多元时间序列预测

本文研究关注机制在时间序列预测性能上的作用，提出 MTS-Mixers 来解决捕获时间和通道互动中的交错和冗余问题，并证明了关注机制不是捕获时间依赖关系的必要条件。

Feb, 2023

利用 2D 信息进行长期时间序列预测的 Vanilla Transformer

通过 Transformer 架构，GridTST 模型将时间序列数据视为网格，结合创新的多方向关注机制，同时考虑时间和变量维度，提升了分析能力，并在各种真实数据集上实现了最先进的性能。

May, 2024