May, 2024

利用 Transformer 作为具有有限规律性的微分方程求解的神经算子

PDF
TL;DR神经算子学习模型被证实为部分微分方程在各种应用中的高效代理方法，本文通过建立理论基础将变压器作为算子学习模型实现通用逼近性，并应用于预测具有不同初始条件和强迫项的有限正则性动力学系统的解。
neural operator learning modelspartial differential equationstransformersuniversal approximation propertydynamical systems
发现论文，激发创造
  • 使用 Transformer 进行偏微分方程的多尺度时间步进

    使用 Transformer 神经网络结构学习物理系统的动力学，混合了卷积自编码器学习的空间模式。模型在预测 Navier-Stokes 方程的时间演化方面取得了与 Fourier Neural Operator（FNO）和 OFormer、Galerkin Transformer 两种基于 Transformer 的神经算子相当或更好的结果。

    Nov, 2023

  • 参数偏微分方程的傅里叶神经算子

    该论文提出了一种新的神经算子，通过直接在傅里叶空间中参数化积分核，实现了对偏微分方程的求解，并在 Burgers' equation、Darcy 流和 Navier-Stokes 方程等测试中展现了高准确率和比传统方法高三个数量级的速度。

    Oct, 2020

  • Unisolver: 基于偏微分方程的 Transformer 是通用的偏微分方程求解器

    通过使用多样化的数据预训练的 Transformer 和多样的 PDE 条件，我们提出了一种能够解决广泛范围的 PDE 的通用 PDE 求解器 (Unisolver)，在三个具有挑战性的大规模基准测试中获得了一致的最新成果，并具有令人印象深刻的增益以及有利的通用性和可扩展性。

    May, 2024

  • 通过图神经网络和深度算子网络学习时变 PDE 以实现在不规则网格上的鲁棒性精度

    提出了 GraphDeepONet，一种基于 GNN 的自回归模型，能够适应 DeepONet 并有效地学习操作符，具有在不规则网格上预测解以及对时间依赖性 PDE 解进行时间外推的能力。对 GraphDeepONet 的普适逼近能力进行了理论分析。

    Feb, 2024

  • 神经算子中的专业变换有多重要？

    研究表明，使用可学习的线性层替代变换层可以在性能上与最佳的基于变换的层相媲美，并且在计算时间上具有优势，这对神经操作符的未来工作可能具有重要的影响，也可能指出这些架构的其他效率来源。

    Aug, 2023

  • 用 Transformer 预测常微分方程

    我们使用基于 Transformer 的序列到序列模型，从单个解轨迹的不规则采样和嘈杂观测数据中恢复标量常微分方程（ODE）的符号形式。通过广泛的实证评估，我们证明我们的模型在各种环境下表现出更好或与现有方法相当的精确恢复能力。此外，我们的方法具有高效的可扩展性：在一次对大量 ODE 进行预先训练后，我们可以在模型的几次正向传递中推断出新观测解的控制规律。

    Jul, 2023

  • 利用物理信息的深度神经网络学习参数偏微分方程的解算子

    本文提出了一种被称为物理学知识不同 DeepONets 的新模型类，通过使用自动差分在模型训练期间施加软惩罚约束来实现重力定律，其将 DeepONet 模型输出偏向于确保物理一致性，进而显著提高 DeepONets 的预测准确性，并大大减少了大型训练数据集的需求。

    Mar, 2021

  • ODE Transformer: 序列生成的普通微分方程启发模型

    本文研究残差网络与解常微分方程的欧拉离散化之间的关系，并将欧拉离散化方法运用于 Transformer 中，提出一种新的 ODE Transformer 架构，实现简单高效，在机器翻译、摘要生成和语法错误修正等任务上具有较高的泛化能力和性能提升。

    Mar, 2022

  • 关于偏微分方程中各个领域和参数的微分同胚神经算子

    通过可微分同胚神经运算符学习框架，提出了一种面向具有不同和复杂领域的物理系统的域灵活模型的方法，实现神经运算符在不同领域中的强大学习能力和鲁棒的概化。

    Feb, 2024

  • 在潜在空间中学习提高深度神经算子的预测准确性

    使用深度自编码器识别高维 PDE 输入输出函数的潜在特征表示，可以增强学习，并提高时间依赖型的 PDE 模型的计算精度和效率。

    Apr, 2023