Apr, 2024

面向偏微分方程的基于多操作符学习和外推的基础模型

PDF
TL;DR我们介绍了一种用于科学问题的多模态基础模型 PROSE-PDE，它是一种多运算符学习方法，可以预测时空系统的未来状态，并同时学习物理系统的底层控制方程。我们通过三个外推研究证明了 PROSE-PDE 可以通过训练多个运算符来泛化物理特征，且该模型能够推断出在训练过程中未见过模型或数据的偏微分方程解。此外，通过系统数值实验，我们展示了我们模型中符号模态的有效利用解决了训练多个运算符的完整性问题，从而增强了我们模型的预测能力。
foundation modelsmulti-modalprose-pdemulti-operator learningphysical applications
发现论文，激发创造
  • 使用多模态变换器预测运算符和符号表达式

    用一种名为 PROSE 的新型神经网络框架，能够从数据中学习运算符和控制方程，提供了更大的灵活性和通用性，以实现非线性微分方程的近似计算和预测。

    Sep, 2023

  • 具有物理知识的 DeepONets 用于参数演化方程的长时间积分

    本文提出了一种用于无配对输入输出观测的深度神经网络参数化的无穷维算子的学习框架，以实现对于参数 ODE/PDE 系统的精确长时间模拟，该方法虽然比传统数值解算法计算成本低，但可靠性更高且能够全局评估。

    Jun, 2021

  • 利用大规模在线学习训练深度代理模型

    该论文提出了一个开源在线培训框架，用于快速解决偏微分方程组，可以提高深度代理模型的数据多样性，对于 Fully connected neural networks、Fourier Neural Operator (FNO) 和 Message Passing PDE Solver 的预测准确度分别提高了 68％、16％和 7％。

    Jun, 2023

  • 基于贝叶斯框架的从数据中学习控制偏微分方程

    通过机器学习中的变分贝叶斯和稀疏线性回归的组合方法，提出了一种新的从数据中发现偏微分方程的方法，可应用于物理、工程和生物学领域等。

    Jun, 2023

  • NeuPDE: 基于神经网络的常微分方程和偏微分方程模型，用于建模时变数据

    使用神经网络和偏微分方程提取动态数据中的模型，参数化模型来结合空时样本相关性，在 MNIST 和 Fashion MNIST 上与其他深度神经网络进行了比较，证明本方法能够降低参数成本。

    Aug, 2019

  • 参数偏微分方程的傅里叶神经算子

    该论文提出了一种新的神经算子，通过直接在傅里叶空间中参数化积分核，实现了对偏微分方程的求解，并在 Burgers' equation、Darcy 流和 Navier-Stokes 方程等测试中展现了高准确率和比传统方法高三个数量级的速度。

    Oct, 2020

  • 基于多小波算子的微分方程学习

    本文介绍了一种基于多小波神经算子学习方案的解微分方程的方法，该方法使用细粒度小波压缩相关算子的内核，并通过显式嵌入逆小波滤波器，将内核投影到固定的多项式基上进行训练，在多个尺度上训练投影内核，实现了解微分方程的分辨率独立方案。与现有的神经算子方法相比，我们的模型在一系列数据集上展现出更高的准确性，并取得了最新的成果。

    Sep, 2021

  • 以偏微分方程为基础的深度神经网络

    该论文通过偏微分方程的理论框架，提出了三种新型的 ResNet 神经网络架构，分别属于抛物线和双曲线类型的 CNN，能够提供深度学习的新算法和思路，并用数值实验证明了它们的竞争力。

    Apr, 2018

  • 从有限数据中利用物理编码学习发现非线性偏微分方程

    本文提出一种新的基于物理编码离散学习框架，用于从稀缺且有噪声的数据中发现时空偏微分方程，通过引入基于深度卷积 - 循环网络进行先前的物理知识编码，并利用重构数据的稀疏回归来识别控制 PDEs 的显式形式。作者在三个非线性 PDE 系统上进行了验证，展示了该方法的有效性和优越性。

    Jan, 2022

  • 使用 Transformer 进行偏微分方程的多尺度时间步进

    使用 Transformer 神经网络结构学习物理系统的动力学，混合了卷积自编码器学习的空间模式。模型在预测 Navier-Stokes 方程的时间演化方面取得了与 Fourier Neural Operator（FNO）和 OFormer、Galerkin Transformer 两种基于 Transformer 的神经算子相当或更好的结果。

    Nov, 2023