May, 2023

时序融合 Transformer 用于流量预测：结合注意力与循环的价值

PDF
TL;DR本文研究了结合循环和注意力的方法是否能够提高水文预测的精度并将 Temporal Fusion Transformer (TFT) 模型应用于水文学领域。在 2600 个以上的全球分布的集水区的实验表明，TFT 模型的表现超过了 LSTM 和 Transformers 模型，并可帮助获得流域产流过程的更多见解。
hydrologymachine-learning algorithmslong short-term memory (lstm) networkstransformerstemporal fusion transformer (tft) architecture
发现论文，激发创造
  • 用 Transformer 网络探测水文预测的极限

    本文研究发现，普通 Transformer 结构在水文建模方面的性能不如 LSTM 结构；去除循环结构的变体可以与 LSTM 相媲美，但是与当前最先进技术相比性能并不突出。

    Jun, 2023

  • 可解释的多时段时间序列预测的时间融合变压器

    介绍了一种名为 Temporal Fusion Transformer（TFT）的基于注意机制的新型深度学习模型，以高效且可解释的方式解决多步预测中存在的多个输入和时间动态性问题，在实际数据集上表现出显著的性能和可解释性。

    Dec, 2019

  • 利用时间融合变压器进行短期电力负荷预测：网格层次和数据来源的影响

    研究了基于 Transformer 模型的时间序列预测方法在短期电力负载预测中的应用，结果表明，该方法不如基于 LSTM 模型在整个电网范围内的日前负载预测性能优越，但在细分的变电站层面上表现出显著的预测性能提升，并且在周前负载预测上具有优越性。

    May, 2023

  • 基于 Transformer 模型的广义水文预测：120 小时流量预测

    该研究探讨了 Transformer 模型在美国爱荷华州 125 个不同位置的 120 小时溪流预测中的有效性。利用前 72 小时的数据，包括降雨量、蒸发蒸腾量和流量值，我们开发了一个通用模型来预测未来的溪流流量。我们的方法与通常依赖于特定位置模型的传统方法相反。我们将 Transformer 模型的性能与三个深度学习模型（LSTM、GRU 和 Seq2Seq）以及持久性方法进行了基准测试，利用 Nash-Sutcliffe 效率（NSE）、Kling-Gupta 效度（KGE）、Pearson 相关系数和归一化均方根误差（NRMSE）作为度量标准。研究结果显示 Transformer 模型的卓越性能，具有更高的中位数 NSE 和 KGE 分数，并展现出最低的 NRMSE 值。这表明它能够准确模拟和预测溪流流量，并能有效适应不同的水文条件和地理变化。我们的发现强调了 Transformer 模型在水文建模中作为先进工具的潜力，相比传统和现代方法具有显著改进。

    Jun, 2024

  • 使用 CNN-LSTM 简洁建模进行水流预测

    在这项研究中，我们将 CNN-LSTMs 的应用扩展到时间序列设置中，利用滞后的水流数据与降水和温度数据相结合，预测水流状况，并在内布拉斯加州的 32 个 HUC8 流域中的 21 个流域中取得了显著的预测性能改进，展示了 Kling-Gupta 效率值的显著增加，从而突出了 CNN-LSTMs 在时间序列设置中的效果，特别适用于准确且鲁棒的水流预测的时空水文建模。

    Apr, 2024

  • 基于时空相关性的混合深度学习框架的短期交通流量预测

    本文提出了一种新颖的基于 CNN 和 LSTM 结合的深度学习体系结构来预测未来的交通流量，通过开放数据集进行实验，结果表明该方法具有显著的优势，并从 Granger 因果性的角度对其进行了分析探讨。

    Dec, 2016

  • TransGlow: 基于图神经网络的注意力增强传导模型用于水流预测

    该研究论文提出了一种基于图卷积循环神经网络和注意机制的时空预测模型 TransGlow，用于水量的水文预测与预测建模，通过对水系统的动态性和有限数据进行建模，实验结果表明该模型在水文应用领域取得了显著的优势。

    Dec, 2023

  • 应用注意力机制的 Transformer 模型进行下一帧和时间序列预测

    测试和评估在时间序列数据上应用 Transformer 模型的有效性，通过调整超参数、预处理数据、应用降维或卷积编码等方式来解决异常检测、上下文感知和空间复杂性问题，同时探索修改现有解决方案以实现更高性能和学习广义知识的方法。

    Aug, 2021

  • Transformer 与 LSTM 在电子交易中的对比

    通过比较多种基于 LSTM 和 Transformer 的模型在高频限价盘数据上的多个金融预测任务中的表现，研究发现 Transformer-based 模型在绝对价格趋势预测方面仅具有有限优势，而基于 LSTM 的模型在价格差异和价格变动等差异序列预测方面表现更好且更稳健。

    Sep, 2023

  • 关于循环模型在长序列中的复兴：变形器时代的调研和研究机会

    深度学习中基于 Transformer 和循环神经网络的顺序处理对于处理长序列数据和无限长度序列数据具有重要意义。

    Feb, 2024