提出了 PV-Client (Cross-variable Linear Integrated ENhanced Transformer) 用于光伏发电功率预测，采用增强 Transformer 模块捕获不同特征之间的复杂相互作用，使用线性模块学习光伏功率的趋势信息，并整合交叉变量注意力以捕获光伏功率与天气因素之间的依赖关系。实验结果表明，PV-Client 在光伏发电功率预测方面表现卓越。

Jun, 2024

通过简单的线性模型实验发现在长期时间序列预测任务中，线性模型 LTSF-Linear 的效果优于复杂的基于 Transformer 方法，这引发人们对该任务以及其他时间序列分析任务中基于 Transformer 方法的有效性的反思。

May, 2022

深度学习在时间序列预测方面取得了显著进展，其中 Transformer 架构在处理长序列的语义相关性方面表现出色。研究综述了 Transformer 架构及其改进方法在长期时间序列预测任务中的应用，总结了公开的长期时间序列预测数据集和评估指标，并提供了关于在时间序列分析中有效训练 transformers 的最佳实践和技术，最后提出了该领域的潜在研究方向。

Oct, 2023

本论文讨论了长期时间序列预测 (LTTF) 中的 Transformer 模型，提出了一种有效的基于 Transformer 的模型 Conformer，采用编码器 - 解码器架构和正则化流派生的模块进一步提高信息利用率，并显式地建模时间序列数据中的互系列相关性和时间动态以加强下游自我关注机制，实验表明 Conformer 模型在 LTTF 中优于现有的方法，并可生成可靠的预测结果与不确定性量化。

Jan, 2023

本文提出了一种轻量级的 Periodformer 模型，采用 Period-Attention 机制和内置的近似性，同时嵌入门机制控制注意模块对预测结果的影响，并使用基于贝叶斯优化的多 GPU 异步并行算法加快了超参数优化，结果表明该模型在多元和单元预测方面的预测误差分别减少了 13% 和 26%，同时缩短了 46% 的搜索时间。

Jun, 2023

本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计，它基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序列，其在所有系列中共享相同的嵌入和 Transformer 权重。PatchTST 可以显著提高长期预测准确性，超越 SOTA Transformer-based models，并在自我监督预训练任务中实现出色的微调性能。

Nov, 2022

该论文研究了在应用 Transformer 进行长期时间序列预测（LTSF）任务时的三个关键问题：时间连续性、信息密度和多通道关系，并提出了三种创新解决方案，构建了一种名为 PETformer 的新模型，通过广泛的实验证明 PETformer 在 LTSF 任务中取得了当前公共数据集上的最先进性能，优于其他所有现有模型，显示了 Transformer 在 LTSF 领域仍具有强大的能力。

Aug, 2023

通过条件相关性和自相关性作为研究工具，我们引入了一种轻量级的 HDformer 模型，该模型使用分层分解技术，不仅推翻了模型扩展的趋势，而且在大量减少计算和参数的同时实现了精确的长期时间序列预测，超越了现有的最先进模型，表明在长期时间序列预测中，模型的大小并不一定更好。

Jan, 2024

通过 Transformer 架构，GridTST 模型将时间序列数据视为网格，结合创新的多方向关注机制，同时考虑时间和变量维度，提升了分析能力，并在各种真实数据集上实现了最先进的性能。

May, 2024

通过引入 Surrogate Attention Blocks 和 Surrogate FFN Blocks，提出了一种新颖的针对长序列时间序列预测问题的 Transformer 模型的架构设计，以提高模型的效率而不牺牲准确性。在涵盖了九个基于 Transformer 的模型的五个时间序列任务的广泛实验中，观察到平均性能提高了 9.45％，同时模型的大小降低了 46％。

May, 2024