Unisolver: 基于偏微分方程的 Transformer 是通用的偏微分方程求解器

May, 2024

Unisolver: 基于偏微分方程的 Transformer 是通用的偏微分方程求解器

Unisolver: PDE-Conditional Transformers Are Universal PDE Solvers

Zhou Hang, Yuezhou Ma, Haixu Wu, Haowen Wang, Mingsheng Long

TL;DR通过使用多样化的数据预训练的 Transformer 和多样的 PDE 条件，我们提出了一种能够解决广泛范围的 PDE 的通用 PDE 求解器 (Unisolver)，在三个具有挑战性的大规模基准测试中获得了一致的最新成果，并具有令人印象深刻的增益以及有利的通用性和可扩展性。

Abstract

Deep models have recently emerged as a promising tool to solve partial differential equations (PDEs), known as neural pde solvers. While neural solvers trained from either simulation data or physics-informed loss can solve the PDEs reasonably well, they are mainly restricted to a speci

neural pde solvers universal pde solver transformer pde components generalizability

发现论文，激发创造

利用 Transformer 作为具有有限规律性的微分方程求解的神经算子

神经算子学习模型被证实为部分微分方程在各种应用中的高效代理方法，本文通过建立理论基础将变压器作为算子学习模型实现通用逼近性，并应用于预测具有不同初始条件和强迫项的有限正则性动力学系统的解。

May, 2024

学习神经偏微分方程求解器并带收敛性保证

本文提出了一种基于深度学习的域特定快速迭代求解器的方法，并经过训练在多种几何结构和边界条件下实现了 2-3 倍的速度提升。

Jun, 2019

Transolver：通用几何形状上的 PDE 快速变压器求解器

基于 Transformer 原理，Transolver 通过学习分离离散化几何背后的内在物理状态，并借助物理关注机制捕捉复杂几何结构下的物理关联性，实现了在解 PDEs 时的高效计算和准确建模。

Feb, 2024

使用 Transformer 进行偏微分方程的多尺度时间步进

使用 Transformer 神经网络结构学习物理系统的动力学，混合了卷积自编码器学习的空间模式。模型在预测 Navier-Stokes 方程的时间演化方面取得了与 Fourier Neural Operator（FNO）和 OFormer、Galerkin Transformer 两种基于 Transformer 的神经算子相当或更好的结果。

Nov, 2023

潜在神经 PDE 求解器：用于偏微分方程的降阶建模框架

利用神经网络在粗粒化离散空间中学习系统的动力学，并通过降维简化了时间模型的训练过程，同时展示了与在全序空间上操作的神经 PDE 求解器相比，该方法具有竞争力的准确性和效率。

Feb, 2024

使用物理感知神经网络解决反问题偏微分方程

本文提出了一种新型的混合反向问题复合框架，将深度神经网络的高表现力与现有偏微分方程数值算法相结合，通过语义自编码器的自定义层，将计算数学、机器学习和模式识别技术融合在一起，实现了域特定知识和物理约束的综合应用，解决了大量数据中的未知字段这个问题，称之为混合反向 PDE 网络 (BiPDE 网络)，并在一维和二维空间中的泊松问题中，以及一维的时间依赖和非线性 Burgers 方程中，应用和证明了其可行性和噪声鲁棒性。

Jan, 2020

UPS：通过跨模态适应实现 PDE 求解的基础模型

我们介绍了 UPS（统一 PDE 求解器），这是一种有效和数据高效的方法，用于解决各种定义在不同领域、维度和分辨率上的时空 PDE。UPS 将不同的 PDE 统一到一个一致的表示空间中，并使用具有领域特定神经算子的统一网络架构处理各种 PDE 数据集合。我们通过两阶段的跨模态自适应过程对网络进行训练，利用模态对齐和多任务学习的思想。通过从预训练的 LLMs 中进行适应并利用文本形式的元信息，我们能够使用比先前方法更少的训练样本，并获得强有力的实证结果。UPS 在 PDEBench 的各种 1D 和 2D 数据集上性能优于现有的基准方法，通常取得较大的优势，在 10 项任务中有 8 项达到了最新的结果。同时，它能够在不同的 PDE 家族、系数和分辨率之间进行少样本迁移。

Mar, 2024

掩蔽自编码器是 PDE 学习器

通过自我监督学习跨越偏微分方程组，遮蔽预训练可以提高神经求解器对未见过方程组的系数回归和时间步骤性能，从而成为跨大规模、无标签和异构数据集学习潜在物理规律的统一方法。

Mar, 2024

使用符号框架的可解释神经偏微分方程求解器

通过将符号框架集成到神经求解器中，缩小了黑盒预测和解决方案之间的鸿沟，提高了解释性。

Oct, 2023

利用大规模在线学习训练深度代理模型

该论文提出了一个开源在线培训框架，用于快速解决偏微分方程组，可以提高深度代理模型的数据多样性，对于 Fully connected neural networks、Fourier Neural Operator (FNO) 和 Message Passing PDE Solver 的预测准确度分别提高了 68％、16％和 7％。

Jun, 2023