Fredformer: 为时间序列预测提供频率无偏的 Transformer
该研究提出了一种名为 FEDformer 的算法，采用 Transformer 和季节趋势分解方法相结合，提高长期预测的性能，同时通过基于 Fourier 变换的频率增强技术进一步提高了预测的准确性，与当前先进的方法相比，在多元和单元时间序列上均能大幅度降低预测误差。
Jan, 2022
通过将时间序列分成按天分割的小块，重新进行逐块方式处理并设计时间建模 Transformer-Dateformer，以提高 Transformers 模型的信息输入和输出并使模型能够全局分析时间序列，大幅提高了时间序列预测的准确性和半年的最大预测范围。
Jul, 2022
本研究提出了一种通用的多尺度框架，可应用于当前最先进的基于 Transformer 的时间序列预测模型，通过多尺度共享权重迭代地改进预测的时间序列，引入架构适应和特殊设计的标准化方案，可在不增加过多计算负担的情况下，将性能从 5.5％提高到 38.5％，详细的消融研究表明了每个贡献在架构和方法上的有效性，进一步证明了所提出的改进优于其对应的基线模型，代码公开在此 https URL。
Jun, 2022
文章提出了一种名为 iFormer 的基于 Inception 的 Transformer 架构，通过一种名为 Inception mixer 的操作使得网络能够更好地捕捉高频信息和低频信息，加入了渐进降低高频分量和增加低频分量的结构，并在图像分类等任务上取得了非常优秀的表现。
May, 2022
我们提出了一种基于频率导数学习的非平稳时间序列预测框架 DERITS，通过整个频率谱将时间序列进行转换，使其从频率角度充分利用数据分布，从而在时间序列预测和分布偏移方面表现出持续的优越性。
Jun, 2024
本论文讨论了长期时间序列预测 (LTTF) 中的 Transformer 模型，提出了一种有效的基于 Transformer 的模型 Conformer，采用编码器 - 解码器架构和正则化流派生的模块进一步提高信息利用率，并显式地建模时间序列数据中的互系列相关性和时间动态以加强下游自我关注机制，实验表明 Conformer 模型在 LTTF 中优于现有的方法，并可生成可靠的预测结果与不确定性量化。
Jan, 2023
频率增强直接预测 (FreDF) 绕过标签自相关的复杂性，通过学习在频率域进行预测，实验证明 FreDF 明显优于包括 iTransformer 在内的现有领先方法，并与各种预测模型兼容。
Feb, 2024
该研究针对深度神经网络在对抗样本上的脆弱性，提出了一种名为频率偏好控制模块的插件，它能够自适应地重新配置中间特征表示的低频和高频成分，以更好地利用频率进行鲁棒学习。实证研究表明，这种模块可以轻松地与任何对抗训练框架相结合，在不同体系结构和数据集上进一步提高模型的鲁棒性。此外，还进行了实验，以检验鲁棒模型的频率偏差如何影响对抗训练过程及其最终的鲁棒性，并揭示了有趣的见解。
Jul, 2023
本研究提出了一种基于 ETS 的改进型 Transformer 架构 ——ETSFormer，通过引入指数平滑、曲线趋势拟合和频率部分的注意力机制和模块化分解来提高时间序列预测的准确性和效率，实现了对时间序列数据的分解和解释。
Feb, 2022