Jun, 2023

用 Transformer 网络探测水文预测的极限

PDF
TL;DR本文研究发现，普通 Transformer 结构在水文建模方面的性能不如 LSTM 结构；去除循环结构的变体可以与 LSTM 相媲美，但是与当前最先进技术相比性能并不突出。
recurrent neural networkslong short-term memorytransformershydrologysequential prediction tasks
发现论文，激发创造
  • 时序融合 Transformer 用于流量预测：结合注意力与循环的价值

    本文研究了结合循环和注意力的方法是否能够提高水文预测的精度并将 Temporal Fusion Transformer (TFT) 模型应用于水文学领域。在 2600 个以上的全球分布的集水区的实验表明，TFT 模型的表现超过了 LSTM 和 Transformers 模型，并可帮助获得流域产流过程的更多见解。

    May, 2023

  • 基于 Transformer 模型的广义水文预测：120 小时流量预测

    该研究探讨了 Transformer 模型在美国爱荷华州 125 个不同位置的 120 小时溪流预测中的有效性。利用前 72 小时的数据，包括降雨量、蒸发蒸腾量和流量值，我们开发了一个通用模型来预测未来的溪流流量。我们的方法与通常依赖于特定位置模型的传统方法相反。我们将 Transformer 模型的性能与三个深度学习模型（LSTM、GRU 和 Seq2Seq）以及持久性方法进行了基准测试，利用 Nash-Sutcliffe 效率（NSE）、Kling-Gupta 效度（KGE）、Pearson 相关系数和归一化均方根误差（NRMSE）作为度量标准。研究结果显示 Transformer 模型的卓越性能，具有更高的中位数 NSE 和 KGE 分数，并展现出最低的 NRMSE 值。这表明它能够准确模拟和预测溪流流量，并能有效适应不同的水文条件和地理变化。我们的发现强调了 Transformer 模型在水文建模中作为先进工具的潜力，相比传统和现代方法具有显著改进。

    Jun, 2024

  • Transformer 与 LSTM 在电子交易中的对比

    通过比较多种基于 LSTM 和 Transformer 的模型在高频限价盘数据上的多个金融预测任务中的表现，研究发现 Transformer-based 模型在绝对价格趋势预测方面仅具有有限优势，而基于 LSTM 的模型在价格差异和价格变动等差异序列预测方面表现更好且更稳健。

    Sep, 2023

  • 关于循环模型在长序列中的复兴：变形器时代的调研和研究机会

    深度学习中基于 Transformer 和循环神经网络的顺序处理对于处理长序列数据和无限长度序列数据具有重要意义。

    Feb, 2024

  • 深度学习下重新思考时间序列预测：一步前行两步退后

    本文介绍了 Transformer 在时间序列预测方面的应用，探讨了其局限性，并提出了一系列更好的性能和更少复杂度的其他模型。

    Apr, 2023

  • 神经水文 -- 解释 LSTM 在水文学中的应用

    研究使用 LSTM 网络进行降雨径流预测及分析，以此探究它在水文学领域中的应用及其内部学习机制。

    Mar, 2019

  • 利用机器学习应用于大样本数据集实现学习普适、区域和局部水文行为

    使用气象时间序列数据和静态流域属性，我们提出了一种基于数据驱动的方法，在使用 LSTMs 单个模型对 531 个流域进行训练的情况下，显著提高了性能，比符合地区性条件的水文模型和针对单个流域进行校准的水文模型的表现更好，同时还提出了 Entity-Aware-LSTM 的改进网络架构使学习、嵌入和特征层深度学习可以在其上实现，同时提出的这个背景与之前的水文理解相符。

    Jul, 2019

  • 基于可解释人工智能技术的用于水位多步预测和水文气象敏感性分析的 Transformer 改进型模型

    通过结合稀疏注意机制和引入非线性输出层的变体模型，本研究基于变压器模型对水位进行多步预测，并考虑同时的气象和水文因素。结果表明，该变体模型相比传统的变压器模型，在不同的前瞻时间内以各种评估指标显示出更好的性能。基于 XAI 技术的敏感性分析显示出气象因素对水位演变的显著影响，其中温度是最重要的气象因素。因此，同时考虑气象和水文因素对可靠的水文预测和防洪工作至关重要，并且 XAI 技术帮助理解预测结果并评估其合理性。

    May, 2024

  • 基于地理气象数据的深度神经网络长期干旱预测

    我们提出了一种基于各种时空神经网络的端到端解决方案来预测特定地区干旱概率，特别是用于长期决策，同时利用气候模型的内在因素和见解来增强干旱预测，通过比较评估结果表明，卷积 LSTM 和 Transformer 模型在预测干旱强度方面优于基线模型，ROC AUC 分数从 0.90 到 0.70，推荐根据预测时间跨度选择合适的模型进行长期干旱预测。

    Sep, 2023

  • 使用 CNN-LSTM 简洁建模进行水流预测

    在这项研究中，我们将 CNN-LSTMs 的应用扩展到时间序列设置中，利用滞后的水流数据与降水和温度数据相结合，预测水流状况，并在内布拉斯加州的 32 个 HUC8 流域中的 21 个流域中取得了显著的预测性能改进，展示了 Kling-Gupta 效率值的显著增加，从而突出了 CNN-LSTMs 在时间序列设置中的效果，特别适用于准确且鲁棒的水流预测的时空水文建模。

    Apr, 2024