基于 G-Transformer 框架的对动态和时间变化的治疗策略进行反事实预测的研究中，通过模拟患者在感兴趣的治疗策略下的前进轨迹，使用 Transformer 架构捕获时间变化的协变量的复杂长程依赖并评估该框架的性能。

Jun, 2024

本文提出了一种基于 Transformer 的因果模型，通过特定设计的模型和训练方法，能够准确地对复杂、长期相关和混淆因素进行因果推理并估算出时间序列的反事实结果。

Apr, 2022

本文通过引入编码上下文并在条件生成对抗网络中使用，扩展了基于 Transformer 的时间序列生成对抗网络 (TTS-GAN)，从而可以使用一个模型来拟合具有多个子组件的混合分布。通过定性和定量的评估指标，我们展示了该模型可以生成高维度和长时间序列数据，并在不同条件下具有较好的性能。

Oct, 2022

本文提出一种基于 Transformer 的方法来估计高维多变量时间序列的联合预测分布，该方法基于注意力机制的解码器能可靠地模拟非参数 Copulas 的特性，使得模型具有多种有用的属性，其中包括可以缩放到数百个时间序列，支持预测和插值，可以处理非对齐和不均匀采样的数据，并可以在训练期间无缝地适应缺失数据，最终的实证结果表明我们的模型在多个真实数据集上都可以产生有竞争力的预测效果。

Feb, 2022

提出了一种名为 GTrans 的时空模型，该模型将数据特征转换为图嵌入，并使用变压器模型预测时间动态，并能够对极端事件进行预测，可在社交网络，道路交通，物理和化学属性预测等领域应用。

Jan, 2022

本论文介绍了一种基于通用 Transformer 架构的随机时间序列模型 tsGT，并使用滚动窗口回测和评估协议展示了其在四个常用数据集上在 MAD 和 RMSE 上优于现有模型，在 QL 和 CRPS 上超越了其随机同行模型，并补充了对 tsGT 建模数据分布和预测边际分位值能力的详细分析。

Mar, 2024

我们提出了通用时间转换器（GTT），这是一个仅基于编码器的风格基础模型，用于零样本多变量时间序列预测。实验结果表明，GTT 在未见过的时间序列数据集上展现出优越的预测能力，甚至超过了最先进的监督基线模型。此外，我们还研究了 GTT 模型参数和训练数据集规模变化的影响，观察到缩放定律在零样本多变量时间序列预测中也成立。

Feb, 2024

本文提出一种基于归纳图转换器（IGT）的回归函数方法，通过原始特征信息与结构图数据进行参数训练，以预估出物流包裹的交付时间，实验结果表明该方法可以显著提高交付时间的估计精度。

Nov, 2022

利用预训练的语言模型，探索决策变压器（DT）架构作为一种通用的控制器综合框架，同时展示了 DT 在各种控制任务上的能力，包括对非线性动力系统和部分微分方程进行控制，并具备出色的零样本泛化能力。

Apr, 2024

本研究探索了带门控的 Transformer Networks 的时间序列分类问题，我们展示了 GTN 在多元时间序列分类任务上的自然有效性，并且在 13 个数据集上进行了实验证明 GTN 可以达到具有竞争力的结果。我们还探究了 GTN 的注意力图以提高时间序列建模的自然解释性。

Mar, 2021