利用参数引导通道注意力学习神经偏微分方程求解器

ICMLApr, 2023

利用参数引导通道注意力学习神经偏微分方程求解器

Learning Neural PDE Solvers with Parameter-Guided Channel Attention

Makoto Takamoto, Francesco Alesiani, Mathias Niepert

TL;DR本研究提出了一种基于科学机器学习（SciML）的渠道关注机制导向的偏微分方程（PDE）参数嵌入（CAPE）组件来实现神经替代模型，以及一种简单而有效的课程学习策略，通过流畅的过渡学习使得这些神经替代模型能够适应未见过的 PDE 参数，并在常见的 PDE 基准测试中进行了实验验证，获得了一致且显著的改进，并在推断时间和参数计数方面展现了 CAPE 的几个优点。

Abstract

scientific machine learning (SciML) is concerned with the development of learned emulators of physical systems governed by partial differential equations (PDE). In application domains such as weather forecasting, molecular dynamics, and inverse design, ML-based surrogate models are inc

scientific machine learning partial differential equations neural surrogate models channel attention mechanism curriculum learning strategy

发现论文，激发创造

使用注意力和卷积的参数化编码减轻神经偏微分方程求解器的频谱偏差

利用基于网格的编码器和卷积注意力网络解决复杂的偏微分方程系统，有效解决光谱偏差问题，提供更准确的解决方案。

Mar, 2024

学习神经偏微分方程求解器并带收敛性保证

本文提出了一种基于深度学习的域特定快速迭代求解器的方法，并经过训练在多种几何结构和边界条件下实现了 2-3 倍的速度提升。

Jun, 2019

Meta-PDE: 学习在没有网格的情况下快速解决 PDE 问题

采用元学习方法将神经网络拟合偏微分方程组的解，并最终在不同的参数、几何域和边界条件下对非线性 Poisson 方程、1D Burgers 方程和超弹性方程组等问题，以较快的速度达到近似精度，且无需传统的有限元分析求解器。

Nov, 2022

噪声感知的物理信息机器学习用于鲁棒的 PDE 发现

本研究提出了一种基于噪声感知的物理信息机器学习框架以及基于离散傅里叶变换的去噪物理信息神经网络，用于通过数据发现物理系统的偏微分方程，并在五个标准偏微分方程上进行实验证明了该方法的鲁棒性和可解释性。

Jun, 2022

使用消息传递图神经网络学习时变 PDE 求解器

通过应用图神经网络和消息传递模型，我们提出了一种有效的 PDE 求解方法，通过参数化控制方程，学习领域不变特征，构建线性 / 非线性 PDE 的准确求解器。

Apr, 2022

利用大规模在线学习训练深度代理模型

该论文提出了一个开源在线培训框架，用于快速解决偏微分方程组，可以提高深度代理模型的数据多样性，对于 Fully connected neural networks、Fourier Neural Operator (FNO) 和 Message Passing PDE Solver 的预测准确度分别提高了 68％、16％和 7％。

Jun, 2023

元学习物理信息神经网络以高效求解新的偏微分方程

我们提出了一种基于神经网络的元学习方法，用于高效解决偏微分方程（PDE）问题。该方法通过元学习来解决各种各样的 PDE 问题，并将这些知识用于解决新的 PDE 问题。我们使用神经网络将 PDE 问题编码成问题表示，其中，控制方程由偏导数的多项式函数的系数表示，边界条件由一组点条件对表示。我们将问题表示作为神经网络的输入来预测解决方案，通过神经网络的前向过程，我们能够高效地预测特定问题的解决方案，而无需更新模型参数。为了训练我们的模型，我们最小化在基于物理知识的神经网络框架中适应 PDE 问题时的预期误差，通过这种方式，即使解决方案未知，我们也能评估误差。我们证明了我们提出的方法在预测 PDE 问题的解决方案方面优于现有方法。

Oct, 2023

借助 PyTorch 和 Firedrake 实现物理驱动的机器学习模型

通过在 PyTorch 和 PDE 系统 Firedrake 之间实现简单而有效的耦合，可以为研究人员、工程师和专家提供一种高效的方式来规定耦合模型，而只需要对现有代码进行微不足道的更改。

Mar, 2023

Solver-in-the-Loop: 从可微分物理学习与迭代 PDE 求解器进行交互

这篇研究论文研究了通过机器学习方法发现复杂修正函数来提高解决偏微分方程数值误差的准确性，发现将求解器集成到训练中的方法比以往的学习方法更有效，文章还强调了不同可微分物理网络在广泛的 PDEs 中的性能表现。

Jun, 2020

基于多层卷积神经网络的参数化偏微分方程求解

该论文提出了一种将多层求解器和基于神经网络的深度学习方法相结合的新方法，用于解决高维参数的偏微分方程数值解问题，并在理论和实验方面都得到了验证。

Apr, 2023