Sep, 2023

Transformer 与 LSTM 在电子交易中的对比

PDF
TL;DR通过比较多种基于 LSTM 和 Transformer 的模型在高频限价盘数据上的多个金融预测任务中的表现，研究发现 Transformer-based 模型在绝对价格趋势预测方面仅具有有限优势，而基于 LSTM 的模型在价格差异和价格变动等差异序列预测方面表现更好且更稳健。
发现论文，激发创造
  • ARIMA、LSTM 和 BiLSTM 预测金融时间序列的比较分析

    本研究比较了双向 LSTM 和单向 LSTM 在时间序列预测中的性能，结果表明双向 LSTM 的附加训练可提高预测准确性，相较于 ARIMA 甚至单向 LSTM，双向 LSTM 的预测效果更佳，但是收敛速度较慢。

    Nov, 2019

  • 用 Transformer 网络探测水文预测的极限

    本文研究发现，普通 Transformer 结构在水文建模方面的性能不如 LSTM 结构；去除循环结构的变体可以与 LSTM 相媲美，但是与当前最先进技术相比性能并不突出。

    Jun, 2023

  • 使用 CNN 和 Transformer 进行金融时间序列预测

    本文提出了通过使用卷积神经网络和 Transformers 来捕捉时间序列中的短期和长期依赖，并用于预测股票价格变化，与传统的统计和深度学习方法相比，实验结果表明该方法取得了成功。

    Apr, 2023

  • 通过 LSTM 与 Transformer 学习有界无上下文语法：区别与解释

    研究比较了 LSTM 和 Transformer 的潜在空间分解模式，进一步解释了 Transformer 在自然语言处理任务中比 LSTM 有更好的表述能力

    Dec, 2021

  • 深度学习下重新思考时间序列预测：一步前行两步退后

    本文介绍了 Transformer 在时间序列预测方面的应用，探讨了其局限性，并提出了一系列更好的性能和更少复杂度的其他模型。

    Apr, 2023

  • 基于 Transformer 的长期时间序列预测的系统综述

    深度学习在时间序列预测方面取得了显著进展，其中 Transformer 架构在处理长序列的语义相关性方面表现出色。研究综述了 Transformer 架构及其改进方法在长期时间序列预测任务中的应用，总结了公开的长期时间序列预测数据集和评估指标，并提供了关于在时间序列分析中有效训练 transformers 的最佳实践和技术，最后提出了该领域的潜在研究方向。

    Oct, 2023

  • 应用注意力机制的 Transformer 模型进行下一帧和时间序列预测

    测试和评估在时间序列数据上应用 Transformer 模型的有效性，通过调整超参数、预处理数据、应用降维或卷积编码等方式来解决异常检测、上下文感知和空间复杂性问题，同时探索修改现有解决方案以实现更高性能和学习广义知识的方法。

    Aug, 2021

  • 外币时间序列预测的现成神经网络架构的成本

    本研究旨在比较不同的长短期记忆（LSTM）神经网络结构和专门用于外汇市场预测的 ANN 架构之间的性能和资源需求，包括模型的执行时间、内存和计算资源消耗。我们的目标是证明专门的架构在外汇市场预测方面不仅能够取得更好的结果，而且在资源消耗和执行时间方面相对于 LSTM 架构更为优越。这种比较分析将对这两种类型的架构在外汇市场环境中的时间序列预测的适用性提供重要的见解。

    May, 2024

  • 增强金融数据可视化以便于投资决策

    利用 LSTM 网络预测股票动态，主要关注细微的涨跌模式，结合纽约证交所的数据集，改进 LSTM 模型以捕捉复杂的市场模式，进而提高股票价格预测的准确性。

    Dec, 2023

  • 基于长短期记忆网络的时间序列预测深度学习

    本文介绍 LSTM 模型的结构和前向传播机制，提出了 Random Connectivity LSTM（RCLSTM）模型，并通过在电信网络交通预测和用户移动性中的应用证明了 RCLSTM 模型可实现相同的预测准确性，同时具有计算复杂度更低的优点

    Oct, 2018