MMAug, 2021

应用注意力机制的 Transformer 模型进行下一帧和时间序列预测

PDF
TL;DR测试和评估在时间序列数据上应用 Transformer 模型的有效性，通过调整超参数、预处理数据、应用降维或卷积编码等方式来解决异常检测、上下文感知和空间复杂性问题，同时探索修改现有解决方案以实现更高性能和学习广义知识的方法。
recurrent neural networkstransformertime series dataanomaly detectionnext-frame prediction
发现论文，激发创造
  • 深度学习下重新思考时间序列预测：一步前行两步退后

    本文介绍了 Transformer 在时间序列预测方面的应用，探讨了其局限性，并提出了一系列更好的性能和更少复杂度的其他模型。

    Apr, 2023

  • 时间序列中的 Transformers: 一项综述

    本文系统地回顾了 Transformer 在时间序列建模中的运用，总结了其优点、局限性以及在网络结构、应用方面的适应性和修改，并对常见的时间序列任务进行了分类，包括预测、异常检测和分类。通过实证分析，研究了 Transformer 在时间序列中的表现，并提出了未来研究方向。这是第一篇全面系统地总结 Transformer 近期在时间序列数据建模领域进展的论文。

    Feb, 2022

  • R-Transformer：加强循环神经网络的 Transformer 模型

    本文提出了 R-Transformer 模型，结合了 RNN 和多头注意力机制的优点，同时避免了它们各自的缺点，能够在不使用位置嵌入的情况下有效捕捉序列中的本地结构和全局长期依赖关系。通过广泛的实验评估表明，在大多数任务中，R-Transformer 优于最先进的方法。

    Jul, 2019

  • 具有注意力联邦聚合的时间序列股票预测的 Transformer

    我们提出了一种关注的联邦变压器，用于时间序列股票预测，在保护参与企业的隐私的同时具备更好的性能。关于从雅虎金融网站获取的各种股票数据的实证结果显示了我们提出的方案在处理上述挑战和联邦学习中的数据异质性方面的优越性。

    Jan, 2024

  • 多元时间序列预测的时间模式关注

    本文提出了一种基于循环神经网络带有注意力机制和频域信息的多元时间序列预测方法，并在多项实际应用任务中实现了最佳性能。

    Sep, 2018

  • 循环线性变换

    通过引入循环替代方案以解决 transformer 自注意机制中的两个局限，本文提出了一种能够以较低成本进行推理并有效利用长程依赖的 transformer 自注意机制替代方法，在强化学习问题中实现了性能的提升。

    Oct, 2023

  • 门控循环神经网络发现注意力

    近期的研究发现具备线性循环层和前馈路径的带有乘性门控模式的循环神经网络（RNNs）能够实现线性自注意力，这是 Transformer 的主要组成部分之一。通过对一组训练过的 RNNs 进行逆向工程，我们发现在实践中梯度下降法会找到我们构建的机制。这项研究结果强调了神经网络中乘性交互的重要性，并暗示某些 RNNs 可能在内部意外地实现了注意力机制。

    Sep, 2023

  • 动作识别中的 Transformer: 时序模型综述

    本文主要介绍了基于 transformers 模型的深度学习方法，用于模拟时间上的变化进行动作识别的研究进展和应用挑战。

    Dec, 2022

  • 关于循环模型在长序列中的复兴：变形器时代的调研和研究机会

    深度学习中基于 Transformer 和循环神经网络的顺序处理对于处理长序列数据和无限长度序列数据具有重要意义。

    Feb, 2024

  • 使用 CNN 和 Transformer 进行金融时间序列预测

    本文提出了通过使用卷积神经网络和 Transformers 来捕捉时间序列中的短期和长期依赖，并用于预测股票价格变化，与传统的统计和深度学习方法相比，实验结果表明该方法取得了成功。

    Apr, 2023