CVPRJun, 2023

利用时间融合变压器 (TFT) 对全球每小时 GPP 进行升维

PDF
TL;DR本研究探索了一种新的方法，利用时间融合变压器 (Temporal Fusion Transformer) 将静态变量和时变变量一起考虑，以在缺乏较高时间分辨率输入特征以及存在显著遗漏值的情况下，上采样在局部到全球尺度上量化大小植被原初生产力 (Gross Primary Productivity) 的问题。同时，该研究还对时空因子的影响进行了可解释性的分析。
gross primary productivityeddy covariance tower sitesmachine learningtemporal fusion transformermulti-head attention layer
发现论文，激发创造
  • 可解释的多时段时间序列预测的时间融合变压器

    介绍了一种名为 Temporal Fusion Transformer（TFT）的基于注意机制的新型深度学习模型，以高效且可解释的方式解决多步预测中存在的多个输入和时间动态性问题，在实际数据集上表现出显著的性能和可解释性。

    Dec, 2019

  • 利用时间融合变压器进行短期电力负荷预测：网格层次和数据来源的影响

    研究了基于 Transformer 模型的时间序列预测方法在短期电力负载预测中的应用，结果表明，该方法不如基于 LSTM 模型在整个电网范围内的日前负载预测性能优越，但在细分的变电站层面上表现出显著的预测性能提升，并且在周前负载预测上具有优越性。

    May, 2023

  • 基于分层时空 Transformer 的长期风力预测

    本文提出了一种新的基于 Transformer Network 的 Hierarchical Spatial-Temporal Transformer Network（HSTTN）模型，利用空间和时间特征增强长期风力发电预测。实验结果表明，该模型性能优于现有解决方案。

    May, 2023

  • 用于建模总初级生产力的循环神经网络

    通过比较分析三种神经网络结构：循环神经网络（RNNs）、门控循环单元（GRUs）和长短期记忆（LSTMs），本研究揭示了这些模型在全年和生长季节预测中具有可比较的性能，特别是 LSTMs 在预测气候引起的 GPP 极值方面表现出色。此外，我们的分析突显了在准确预测 GPP 方面，尤其是在气候极端条件下，有必要将辐射和遥感输入（光学、温度和雷达）纳入考虑。

    Apr, 2024

  • 时序融合 Transformer 用于流量预测：结合注意力与循环的价值

    本文研究了结合循环和注意力的方法是否能够提高水文预测的精度并将 Temporal Fusion Transformer (TFT) 模型应用于水文学领域。在 2600 个以上的全球分布的集水区的实验表明，TFT 模型的表现超过了 LSTM 和 Transformers 模型，并可帮助获得流域产流过程的更多见解。

    May, 2023

  • 利用变分模态分解的时序融合变压器进行风电功率预测

    本研究使用 VMD 分解风力系列和 TFT 模型进行 1 小时、3 小时和 6 小时的预测，结果表明 VMD 优于其他分解算法，而 TFT 模型优于其他分解模型。

    Feb, 2023

  • 基于时间融合 Transformer 的反应堆事故预测的长期依赖性和可信性方法

    本文提出了一种基于多头自注意和门控机制的时间融合 Transformer 模型的事故预测方法，利用多个协变量来提高预测精度，并采用分位数回归方法进行不确定性评估，该方法首次将 TFT 应用于反应堆事故预测中，相对于新型基于深度学习的预测方法，在预测精度和置信度上均有所提高，同时还可以提取静态和历史协变量特征，为建立更智能和更轻松的反应堆系统维护方法做出积极贡献。

    Oct, 2022

  • 基于地理空间基础模型的地上生物量估计的微调

    利用空间数据进行地球上地上生物量估计的地理基础模型的微调方法，以优化全球植被结构的监测和管理，并减少气候变化的影响。

    Jun, 2024

  • 基于 Transformer 模型的广义水文预测：120 小时流量预测

    该研究探讨了 Transformer 模型在美国爱荷华州 125 个不同位置的 120 小时溪流预测中的有效性。利用前 72 小时的数据，包括降雨量、蒸发蒸腾量和流量值，我们开发了一个通用模型来预测未来的溪流流量。我们的方法与通常依赖于特定位置模型的传统方法相反。我们将 Transformer 模型的性能与三个深度学习模型（LSTM、GRU 和 Seq2Seq）以及持久性方法进行了基准测试，利用 Nash-Sutcliffe 效率（NSE）、Kling-Gupta 效度（KGE）、Pearson 相关系数和归一化均方根误差（NRMSE）作为度量标准。研究结果显示 Transformer 模型的卓越性能，具有更高的中位数 NSE 和 KGE 分数，并展现出最低的 NRMSE 值。这表明它能够准确模拟和预测溪流流量，并能有效适应不同的水文条件和地理变化。我们的发现强调了 Transformer 模型在水文建模中作为先进工具的潜力，相比传统和现代方法具有显著改进。

    Jun, 2024

  • 使用图网络和新型 Transformer 架构进行时空风速预测

    本研究使用图神经网络和不同的 Transformer 架构，探讨风速预测的时空依赖性，提出了 Fast Fourier Transformer 和 Autoformer 架构，使用这些架构的模型在时空预测上的表现优于其他模型。

    Aug, 2022