PROSE-FD：一种用于预测流体动力学的多模态 PDE 基础模型

Sep, 2024

PROSE-FD：一种用于预测流体动力学的多模态 PDE 基础模型

PROSE-FD: A Multimodal PDE Foundation Model for Learning Multiple Operators for Forecasting Fluid Dynamics

Yuxuan Liu, Jingmin Sun, Xinjie He, Griffin Pinney, Zecheng Zhang...

TL;DR本研究提出了 PROSE-FD，一种零-shot 多模态 PDE 基础模型，旨在同时预测多种异质二维物理系统，包括浅水方程和纳维-斯托克斯方程。该模型通过一种新的基于变压器的多算子学习方法，融合符号信息，显著提升了操作基于数据的预测能力，并在基准前向预测任务中优于现有模型。

Abstract

We propose PROSE-FD, a zero-shot multimodal PDE foundational model for simultaneous prediction of heterogeneous two-dimensional physical systems related to distinct Fluid Dynamics settings. These systems include shallow water equations and the Navier-Stokes equations with incompressibl

发现论文，激发创造

使用多模态变换器预测运算符和符号表达式

用一种名为PROSE的新型神经网络框架，能够从数据中学习运算符和控制方程，提供了更大的灵活性和通用性，以实现非线性微分方程的近似计算和预测。

Sep, 2023

使用Transformer进行偏微分方程的多尺度时间步进

使用Transformer神经网络结构学习物理系统的动力学，混合了卷积自编码器学习的空间模式。模型在预测Navier-Stokes方程的时间演化方面取得了与Fourier Neural Operator（FNO）和OFormer、Galerkin Transformer两种基于Transformer的神经算子相当或更好的结果。

Nov, 2023

本地卷积增强的全局傅里叶神经算子用于多尺度动态空间预测

通过改进的傅里叶层和注意机制，我们提出了一种新颖的分层神经算子，旨在捕获所有细节并在不同尺度上处理它们，以解决多尺度偏微分方程问题。在多个物理场景中进行实验，并在现有偏微分方程基准测试中取得卓越性能，尤其是具有快速系数变化特征的方程。

Nov, 2023

一维标量非线性守恒方程中基于上下文算子网络的PDE推广研究

在本文中，我们通过研究ICON对守恒定律的广义化能力，探讨了建立一个能够广泛应用于各种PDE相关科学学习任务的单个大型模型的可能性，而且这个模型即使对于新形式的PDE也不需要经过微调即可广义化。

Jan, 2024

关于偏微分方程中各个领域和参数的微分同胚神经算子

通过可微分同胚神经运算符学习框架，提出了一种面向具有不同和复杂领域的物理系统的域灵活模型的方法，实现神经运算符在不同领域中的强大学习能力和鲁棒的概化。

Feb, 2024

通过无监督预训练和上下文学习实现高效的运算符学习

通过机器学习方法和物理领域专业见解相结合，解决基于偏微分方程的科学问题在近年来取得了很大的进展。然而，这些方法仍然需要大量的偏微分方程数据。为了提高数据效率，我们设计了无监督的预训练和上下文学习方法用于偏微分方程算子学习，通过重构为代理任务的无标签偏微分方程数据对神经算子进行预训练。为了提高超出分布的性能，我们进一步辅助神经算子以灵活地利用上下文学习方法，而无需额外的训练成本或设计。对多种偏微分方程进行的大量实证评估表明我们的方法具有高度的数据效率、更好的泛化性能，甚至胜过传统的预训练模型。

Feb, 2024

基于预训练的共域注意力神经算子用于求解多物理偏微分方程

该研究提出了针对复杂几何结构、物理变量之间的相互作用和缺乏大量高分辨率训练数据等问题，通过在值域或通道空间中对函数进行分词，扩展位置编码、自注意力和标准化层，从而能够使用单一模型学习不同的偏微分方程系统，以实现学习多物理偏微分方程的目标。与现有方法相比，该方法在少量数据的复杂后续任务中，如流体流动模拟和流固相互作用中，通过少样本学习任务的表现超过36%。

Mar, 2024

面向偏微分方程的基于多操作符学习和外推的基础模型

我们介绍了一种用于科学问题的多模态基础模型PROSE-PDE，它是一种多运算符学习方法，可以预测时空系统的未来状态，并同时学习物理系统的底层控制方程。我们通过三个外推研究证明了PROSE-PDE可以通过训练多个运算符来泛化物理特征，且该模型能够推断出在训练过程中未见过模型或数据的偏微分方程解。此外，通过系统数值实验，我们展示了我们模型中符号模态的有效利用解决了训练多个运算符的完整性问题，从而增强了我们模型的预测能力。

Apr, 2024

Poseidon：高效的偏微分方程基础模型

Poseidon是一种基于多尺度算子变换器的基础模型，使用时间条件化层规范化实现了连续时间评估，通过利用时间相关的PDE半群属性提出了一种新的训练策略，极大地扩展了训练数据规模，经预训练后在15个具有挑战性的下游任务中展现出卓越性能，包括各种类型和算子的PDE，并且表现出较高的样本效率和准确性，能很好地泛化到未见过的物理情况，同时能适应不同模型和数据规模进行预训练和下游任务，是一种高效、通用的PDE基础模型。

May, 2024

多模态偏微分方程基础模型中的时间序列预测、知识蒸馏与精细化

本研究解决了现有时间序列预测中符号信息预处理的复杂性问题，提出基于SymPy的新型token库，将微分方程编码为时间序列模型的额外模态。该方法自动化程度高、成本低，且在预测任务中保持了高精度，显著提高了学习到的符号表示和预测时间序列的准确性。

Sep, 2024