Taylorformer：时间序列和其他过程的概率预测
通过将时间序列分成按天分割的小块，重新进行逐块方式处理并设计时间建模 Transformer-Dateformer，以提高 Transformers 模型的信息输入和输出并使模型能够全局分析时间序列，大幅提高了时间序列预测的准确性和半年的最大预测范围。
Jul, 2022
提出了 GenFormer，一种用于生成时空多变量随机过程的随机生成器，利用基于 Transformer 的深度学习模型构建，能够保留目标统计特性。在具有大量空间位置和长时间模拟范围的挑战性应用中，GenFormer 模型生成的合成数据保留了目标边缘分布，并近似捕捉了其他期望的统计特性。将 GenFormer 模型应用于在佛罗里达州的各个站点模拟合成风速数据，计算风险管理的超越概率。
Feb, 2024
基于 Dozer Attention 机制的 Dozerformer 框架在多元时间序列（MTS）预测任务中取得了出色的性能，该机制通过解决注意力机制中的两个关键限制，即二次时间复杂度和基于整个历史序列生成未来值的问题，来捕捉 MTS 数据的局部性、季节性和全局时间依赖性。
Dec, 2023
该论文介绍了一种名为 Pathformer 的多尺度 Transformer 模型，通过自适应路径进行多尺度建模，以提高预测准确性和泛化能力，实验证明其在真实数据集上表现出优越的性能和泛化能力。
Feb, 2024
通过研究一个玩具线性预测问题，我们发现变压器尽管具有高表达能力，但不能收敛于真实解，这是由于其注意力机制的低泛化能力。基于这一发现，我们提出了一种浅层轻量级变压器模型，在利用尖锐感知优化时能够成功逃离糟糕的局部最小值。我们通过实验证明这一结果在所有常用的多变量时间序列数据集上成立，并且 SAMformer 平均超过当前最先进模型 TSMixer 14.33%，同时参数数量仅为其四分之一。
Feb, 2024
GCformer 能在处理长输入序列的同时，利用结构化全局卷积分支处理全局依赖关系并利用本地 Transformer 分支捕获近期的短时信号，该方法在六个基准数据集上实验表明 GCformer 的表现优于现有方法，尤其其全局卷积分支能够增强其他模型的性能，平均改进 31.93％。
Jun, 2023
本研究提出了一种通用的多尺度框架，可应用于当前最先进的基于 Transformer 的时间序列预测模型，通过多尺度共享权重迭代地改进预测的时间序列，引入架构适应和特殊设计的标准化方案，可在不增加过多计算负担的情况下，将性能从 5.5％提高到 38.5％，详细的消融研究表明了每个贡献在架构和方法上的有效性，进一步证明了所提出的改进优于其对应的基线模型，代码公开在此 https URL。
Jun, 2022
通过利用全局信息、局部信息和变量相关性，我们提出了一种双采样变压器（DSformer）模型，用于多元时间序列的长期预测，并且在九个真实数据集上的实验结果表明，DSformer 优于其他八种现有的基准模型。
Aug, 2023
提出了一种基于 Transformer 和 Hawkes 过程的模型（THP），能够更好地捕捉事件序列数据中的短期和长期时间依赖关系，并能够通过集成结构性知识来改善预测表现。
Feb, 2020