Dec, 2023

Earthfarseer：一种多功能的时空动力系统建模方法

PDF
TL;DR通过结合本地卷积和全局基于傅立叶变换的 Transformer 架构，EarthFarseer 提出了一个简洁的框架，以动态捕捉本地 - 全局空间交互和依赖关系，并通过多尺度全卷积和傅立叶架构高效地捕捉时间演化。在八个人类社会物理和自然物理数据集上的广泛实验和可视化证明了 EarthFarseer 的最先进性能。
spatio-temporaldeep learninglocal fidelitylong time-stepsearthfarseer
发现论文，激发创造
  • Earthformer：探索用于地球系统预测的时空变压器

    该论文提出了一种名为 Earthformer 的深度学习模型，通过利用 cuboid attention 机制，成功地应用于 El Nino/Southern Oscillation (ENSO) 的预测，该方法表现出了最新的性能。

    Jul, 2022

  • 深度学习在时空预测中的应用 -- 以太阳能为例

    本文研究了基于深度学习的时空预测问题，并探索使用物理知识来改进深度预测方法的两个主要研究方向：一是使用训练损失函数来改进模型的性能，包括确定性情况和概率情况；另一个是通过深度数据驱动网络来增强不完备的物理模型，以实现准确的预测。

    May, 2022

  • 利用物理引导和频率增强的循环神经网络增强时空预测

    该研究论文提出了一种物理引导的神经网络，利用频率增强的傅里叶模块和矩损失来增强模型估计时空动态的能力，并提出了具有物理约束的自适应二阶龙格 - 库塔方法，以更准确地建模物理状态。实验结果表明，该模型在时空预测和视频预测任务中表现出色，在多个数据集上具有最佳性能，而参数数量却更少。

    May, 2024

  • 时空 SwinMAE：基于 Swin Transformer 的多尺度时空卫星图像表示学习器

    本研究论文介绍了一种名为 Spatio-Temporal SwinMAE 的架构，专注于时空图像处理的表示学习，提出了一种名为 Degas 100M 的预训练模型作为地理空间基础模型，并提出一种名为 Spatio-Temporal SwinUNet 的架构进行迁移学习，该方法在地表覆盖下游任务中表现出显著的性能优势。

    May, 2024

  • 使用 Transformer 进行偏微分方程的多尺度时间步进

    使用 Transformer 神经网络结构学习物理系统的动力学，混合了卷积自编码器学习的空间模式。模型在预测 Navier-Stokes 方程的时间演化方面取得了与 Fourier Neural Operator（FNO）和 OFormer、Galerkin Transformer 两种基于 Transformer 的神经算子相当或更好的结果。

    Nov, 2023

  • 深度卷积在非规则采样时间点云中的应用

    本论文提出了一种使用深度学习模型对不规则采样的连续空间时间过程进行直接学习和预测的方法，并验证了该模型在真实天气数据和星际争霸 II 中的有效性。

    May, 2021

  • 建模随机观测的时空动力系统

    我们开发了一种新的时空方法，通过集成从摊销变分推断、神经微分方程、神经点过程和隐式神经表示等技术，有效处理随机采样的数据，并对未来观测的概率位置和时间进行预测，从而在预测准确性和计算效率上显著超越现有方法，成为研究和理解在真实无约束条件下观察到的复杂动力系统的有用工具。

    Jun, 2024

  • 时空自适应嵌入使得 Vanilla Transformer 成为交通预测的最佳模型

    智能交通系统中，精确的交通预测是一项重要挑战。本研究提出了一种名为时空自适应嵌入的新型组件，可以通过使用传统的 Transformer 模型取得出色的结果，该模型在五个实际交通预测数据集上实现了最先进的性能，进一步实验证明时空自适应嵌入在交通预测中起着关键作用。

    Aug, 2023

  • Yformer: 基于 U-Net 的 Transformer 架构用于远视时间序列预测

    该论文提出了一种基于 Y-shaped 编码器 - 解码器结构的 Yformer 模型，结合稀疏注意力和下采样上采样过程，通过在四个基准数据集上进行的实验结果显示，该模型相比当前最先进的模型在一元和多元场景下的平均改进率分别为 19.82％和 18.41％MSE 和 13.62％和 11.85％MAE。

    Oct, 2021

  • SFTformer: 雷达回波外推的空间频率时域相关解耦变压器

    提出了一种空间频率时间相关解耦 Transformer（SFTformer）模型，用于有效地建模雷达回波的时空动态，并实现未来的天气预测。在豪雨数据集和华北数据集上的实验结果表明，SFTformer 在短期、中期和长期降水预测中具有出色的性能。

    Feb, 2024