我们介绍了一种用于科学问题的多模态基础模型 PROSE-PDE，它是一种多运算符学习方法，可以预测时空系统的未来状态，并同时学习物理系统的底层控制方程。我们通过三个外推研究证明了 PROSE-PDE 可以通过训练多个运算符来泛化物理特征，且该模型能够推断出在训练过程中未见过模型或数据的偏微分方程解。此外，通过系统数值实验，我们展示了我们模型中符号模态的有效利用解决了训练多个运算符的完整性问题，从而增强了我们模型的预测能力。

Apr, 2024

神经算子学习模型被证实为部分微分方程在各种应用中的高效代理方法，本文通过建立理论基础将变压器作为算子学习模型实现通用逼近性，并应用于预测具有不同初始条件和强迫项的有限正则性动力学系统的解。

May, 2024

我们使用基于 Transformer 的序列到序列模型，从单个解轨迹的不规则采样和嘈杂观测数据中恢复标量常微分方程（ODE）的符号形式。通过广泛的实证评估，我们证明我们的模型在各种环境下表现出更好或与现有方法相当的精确恢复能力。此外，我们的方法具有高效的可扩展性：在一次对大量 ODE 进行预先训练后，我们可以在模型的几次正向传递中推断出新观测解的控制规律。

Jul, 2023

使用 Transformer 神经网络结构学习物理系统的动力学，混合了卷积自编码器学习的空间模式。模型在预测 Navier-Stokes 方程的时间演化方面取得了与 Fourier Neural Operator（FNO）和 OFormer、Galerkin Transformer 两种基于 Transformer 的神经算子相当或更好的结果。

Nov, 2023

本文展示神经网络在数学方面的应用，如符号积分和求解微分方程。提出了一套数学问题表示法和生成大规模数据集进行序列到序列模型训练的方法，并获得了超越 Matlab 或 Mathematica 等商业计算机代数系统的结果。

Dec, 2019

通过波形函学习法学习动态系统解算符以提高准确性并超越现有的操作符学习算法的研究。

Oct, 2023

本文介绍了一种基于多小波神经算子学习方案的解微分方程的方法，该方法使用细粒度小波压缩相关算子的内核，并通过显式嵌入逆小波滤波器，将内核投影到固定的多项式基上进行训练，在多个尺度上训练投影内核，实现了解微分方程的分辨率独立方案。与现有的神经算子方法相比，我们的模型在一系列数据集上展现出更高的准确性，并取得了最新的成果。

Sep, 2021

本文研究残差网络与解常微分方程的欧拉离散化之间的关系，并将欧拉离散化方法运用于 Transformer 中，提出一种新的 ODE Transformer 架构，实现简单高效，在机器翻译、摘要生成和语法错误修正等任务上具有较高的泛化能力和性能提升。

Mar, 2022

该论文提出了一种新的神经算子，通过直接在傅里叶空间中参数化积分核，实现了对偏微分方程的求解，并在 Burgers' equation、Darcy 流和 Navier-Stokes 方程等测试中展现了高准确率和比传统方法高三个数量级的速度。

Oct, 2020

本文提出了一种高度可扩展的策略，用于从现有的科学计算中的数值离散化来开发免网格神经符号偏微分方程求解器。该策略可用于有效地训练神经网络代理模型，以保留最先进数值求解器的精度和收敛特性，基于在一组随机配置点上使离散化的微分系统残差最小化来进行神经启动。

Oct, 2022