Jun, 2023

长期序列预测是否需要复杂注意力和更长输入？

PDF
TL;DR本文提出了一种轻量级的 Periodformer 模型，采用 Period-Attention 机制和内置的近似性，同时嵌入门机制控制注意模块对预测结果的影响，并使用基于贝叶斯优化的多 GPU 异步并行算法加快了超参数优化，结果表明该模型在多元和单元预测方面的预测误差分别减少了 13% 和 26%，同时缩短了 46% 的搜索时间。
transformer-based modelslong-term series forecastingperiod-attention mechanismmulti-gpu asynchronous parallel algorithmhyperparameter optimization
发现论文，激发创造
  • Transformer 在时间序列预测中是否有效？

    通过简单的线性模型实验发现在长期时间序列预测任务中，线性模型 LTSF-Linear 的效果优于复杂的基于 Transformer 方法，这引发人们对该任务以及其他时间序列分析任务中基于 Transformer 方法的有效性的反思。

    May, 2022

  • 实现长期时间序列预测：特征、模式和分布

    本论文讨论了长期时间序列预测 (LTTF) 中的 Transformer 模型，提出了一种有效的基于 Transformer 的模型 Conformer，采用编码器 - 解码器架构和正则化流派生的模块进一步提高信息利用率，并显式地建模时间序列数据中的互系列相关性和时间动态以加强下游自我关注机制，实验表明 Conformer 模型在 LTTF 中优于现有的方法，并可生成可靠的预测结果与不确定性量化。

    Jan, 2023

  • 长期时间序列预测中的有效模型规模再思考

    通过条件相关性和自相关性作为研究工具，我们引入了一种轻量级的 HDformer 模型，该模型使用分层分解技术，不仅推翻了模型扩展的趋势，而且在大量减少计算和参数的同时实现了精确的长期时间序列预测，超越了现有的最先进模型，表明在长期时间序列预测中，模型的大小并不一定更好。

    Jan, 2024

  • 基于 Transformer 的长期时间序列预测的系统综述

    深度学习在时间序列预测方面取得了显著进展，其中 Transformer 架构在处理长序列的语义相关性方面表现出色。研究综述了 Transformer 架构及其改进方法在长期时间序列预测任务中的应用，总结了公开的长期时间序列预测数据集和评估指标，并提供了关于在时间序列分析中有效训练 transformers 的最佳实践和技术，最后提出了该领域的潜在研究方向。

    Oct, 2023

  • 使用结构化矩阵增强的 X 转换器进行长序列时间序列预测

    通过引入 Surrogate Attention Blocks 和 Surrogate FFN Blocks，提出了一种新颖的针对长序列时间序列预测问题的 Transformer 模型的架构设计，以提高模型的效率而不牺牲准确性。在涵盖了九个基于 Transformer 的模型的五个时间序列任务的广泛实验中，观察到平均性能提高了 9.45％，同时模型的大小降低了 46％。

    May, 2024

  • PETformer: 基于占位符增强的长期时间序列预测变压器

    该论文研究了在应用 Transformer 进行长期时间序列预测（LTSF）任务时的三个关键问题：时间连续性、信息密度和多通道关系，并提出了三种创新解决方案，构建了一种名为 PETformer 的新模型，通过广泛的实验证明 PETformer 在 LTSF 任务中取得了当前公共数据集上的最先进性能，优于其他所有现有模型，显示了 Transformer 在 LTSF 领域仍具有强大的能力。

    Aug, 2023

  • Informer：用于长序列时间序列预测的高效 Transformer

    为了解决 Transformer 在长序列时间序列预测中的问题，我们设计了一种高效的基于 Transformer 的模型 Informer，其具有 ProbSparse 自注意机制和生成式解码器等特点，在四个大规模数据集上显著优于现有方法。

    Dec, 2020

  • 跨变量线性集成增强变压器模型用于多元长期时间序列预测

    本研究设计了一个掩模时间序列实验来验证注意力模块在捕捉跨时间依赖方面的有效性，并提出了一种名为 Client 的先进模型，它采用线性模块学习趋势信息和注意力模块捕捉跨变量依赖关系，并将位置和解码器模块进行了简化，Client 通过加入非线性和跨变量依赖关系，使其与传统线性模型和基于 Transformer 的模型不同。实验发现，Client 在九个真实数据集上的表现最优，并且计算时间和内存消耗最少。

    May, 2023

  • Dozerformer: 序列自适应稀疏 Transformer 用于多变量时间序列预测

    基于 Dozer Attention 机制的 Dozerformer 框架在多元时间序列（MTS）预测任务中取得了出色的性能，该机制通过解决注意力机制中的两个关键限制，即二次时间复杂度和基于整个历史序列生成未来值的问题，来捕捉 MTS 数据的局部性、季节性和全局时间依赖性。

    Dec, 2023

  • 高效远程 Transformer：你需要参与更多，但不一定是每一层

    提出了一种名为 MASFormer 的变种 Transformer 模型，它通过混合的注意力机制在处理长序列数据时既能捕捉到长距离依赖关系，又能在其余层使用稀疏注意力提高计算效率。实验结果表明，该模型在自然语言建模和生成任务中能够达到与全注意力的 Transformer 模型相媲美的性能，同时显著降低计算成本（多达 75%），并对长序列数据的持续训练和序列长度对下游生成任务的影响进行了研究。

    Oct, 2023