Nov, 2023

使用 Transformer 进行偏微分方程的多尺度时间步进

PDF
TL;DR使用 Transformer 神经网络结构学习物理系统的动力学，混合了卷积自编码器学习的空间模式。模型在预测 Navier-Stokes 方程的时间演化方面取得了与 Fourier Neural Operator（FNO）和 OFormer、Galerkin Transformer 两种基于 Transformer 的神经算子相当或更好的结果。
partial differential equationsneural networkstransformer architecturecomputational modelingnavier-stokes equations
发现论文，激发创造
  • 利用 Transformer 作为具有有限规律性的微分方程求解的神经算子

    神经算子学习模型被证实为部分微分方程在各种应用中的高效代理方法，本文通过建立理论基础将变压器作为算子学习模型实现通用逼近性，并应用于预测具有不同初始条件和强迫项的有限正则性动力学系统的解。

    May, 2024

  • 潜在神经 PDE 求解器：用于偏微分方程的降阶建模框架

    利用神经网络在粗粒化离散空间中学习系统的动力学，并通过降维简化了时间模型的训练过程，同时展示了与在全序空间上操作的神经 PDE 求解器相比，该方法具有竞争力的准确性和效率。

    Feb, 2024

  • 采用图神经算子的多尺度物理表示来近似偏微分方程解

    本论文研究了三种基于神经积分算子的多分辨率模式，并使用消息传递图神经网络进行了验证，以解决描述物理现象中的偏微分方程最具挑战性问题之一 —— 在不同尺度下表示物理信号。

    Jun, 2022

  • 参数偏微分方程的傅里叶神经算子

    该论文提出了一种新的神经算子，通过直接在傅里叶空间中参数化积分核，实现了对偏微分方程的求解，并在 Burgers' equation、Darcy 流和 Navier-Stokes 方程等测试中展现了高准确率和比传统方法高三个数量级的速度。

    Oct, 2020

  • 解决偏微分方程的快速分辨率无关的神经技术

    本文综述了传统的 PDE 数值逼近方法以及近期的基于机器学习的方法，重点介绍了以神经算子为中心的关键构架，这是一种学习 PDE 解算子的新方法，与传统方法相比具有 1000 倍的计算速度优势，这些新的计算方法可以在解决许多基础和应用物理问题方面带来巨大优势。

    Jan, 2023

  • 多尺度神经算子求解时间无关偏微分方程

    我们提出了一种新颖的图重连接技术，用于解决在大网格上的时态独立的偏微分方程的数据驱动神经 PDE 求解器所面临的一些挑战，如集成不同尺度和不规则网格上的信息。我们在三个数据集上的实验表明，基于 GNN 的方法为不规则网格上的时态独立的偏微分方程设定了新的性能标准。最后，我们展示了我们的图重连接策略提升了基线方法的性能，在其中一个任务中取得了最先进的结果。

    Nov, 2023

  • 可扩展的 Transformer 用于 PDE 替代模型

    本文提出了一种基于轴向分解核积分的可学习投影运算符的因式化变压器模型 Factorized Transformer，该模型使用一维域将输入函数分解为多个子函数，用于计算基于实例的内核。我们演示了该模型在 256 x 256 网格上模拟 2D Kolmogorov 流和在 64 x 64 x 64 网格上模拟 3D 烟雾浮力的精度和效率良好。此外，我们发现使用因式化方案时，注意力矩阵的频谱比全 softmax-free 注意力矩阵更紧凑。

    May, 2023

  • 多尺度微分方程时间步进的分层深度学习

    本文提出了一种基于深度神经网络的多尺度时间步进方案来数值模拟非线性微分方程的系统，解决了多时间尺度模型的数值模拟问题，同时提高了模拟的准确性和计算效率。

    Aug, 2020

  • 小参数偏微分方程的双尺度神经网络

    我们提出了一种两尺度神经网络方法，用于使用物理相关神经网络 (PINNs) 解决具有小参数的偏微分方程 (PDEs)。我们直接将小参数纳入神经网络的结构中。该方法能够简单地解决具有小参数的 PDEs，无需添加傅里叶特征或其他计算上繁重的截断参数搜索。各种数值实例表明，该方法能够合理准确地捕捉由小参数引起的解中的大导数特征。

    Feb, 2024

  • 基于量子启发式张量神经网络求解偏微分方程

    本文介绍了如何通过 Tensor Neural Networks 来解决 Partial Differential Equations 的问题，实现了与 Deep Neural Network 同样精度的情况下更小的参数及更快的训练速度，并以 Black-Scholes-Barenblatt equation 模型为例进行了测试验证。

    Aug, 2022