May, 2023

基于导数信息的神经算子在高维度不确定性下的高效偏微分方程约束优化

PDF
TL;DR提出一种基于神经网络和基函数的新型算法来求解随机参量的大规模偏微分方程优化问题。通过构建一种新的神经算符逼近偏微分方程的解算符，该算符由减小基构建而成，在保持精度的同时大大缩小了训练数据量和计算成本，并成功用于数值实验中。
machine learningoptimizationpartial differential equationsrandom parametersreduced basis
发现论文，激发创造
  • 高维偏微分方程的解算子的近似

    我们提出了一种基于有限维控制的方法来近似解决高维演化型偏微分方程的解算符。通过使用通用的降阶模型，例如深度神经网络，我们将模型参数的演化与相应函数空间中的轨迹连接起来。利用神经常微分方程的计算技术，我们学习参数空间上的控制，从而使受控轨迹与 PDE 的解非常接近。对于一类二阶非线性 PDE，我们验证了近似精确度。对几个高维 PDE，包括解决 Hamilton-Jacobi-Bellman 方程的真实应用，我们展示了所提方法的准确性和效率。

    Jan, 2024

  • 高维完全非线性偏微分方程和二阶反向随机微分方程的机器学习逼近算法

    本文介绍一种新的用于解决高维金融模型中的非线性偏微分方程的方法，该方法包含非线性现象、深度神经网络和随机梯度下降类型优化过程，并通过海量数据的数值结果证明了该方法的高效性和精确性。

    Sep, 2017

  • 噪声感知的物理信息机器学习用于鲁棒的 PDE 发现

    本研究提出了一种基于噪声感知的物理信息机器学习框架以及基于离散傅里叶变换的去噪物理信息神经网络，用于通过数据发现物理系统的偏微分方程， 并在五个标准偏微分方程上进行实验证明了该方法的鲁棒性和可解释性。

    Jun, 2022

  • 仅学习边界：一种物理信息神经运算器用于解决复杂几何形状中的参数化偏微分方程

    通过将偏微分方程转化为边界积分方程，我们提出了一种新颖的物理信息神经算子方法，可在没有标记数据的情况下解决参数化边界值问题，并且能够处理无界问题。

    Aug, 2023

  • 评估科学应用中神经 PDE 的不确定量化方法

    神经偏微分方程（Neural PDEs）被证明能够有效重构流系统并预测相关的未知参数。然而，基于贝叶斯方法的神经偏微分方程显示出更高的预测确定性，相较于使用 Deep Ensembles 方法得到的结果，可能低估了真实潜在的不确定性。

    Nov, 2023

  • 利用物理信息的深度神经网络学习参数偏微分方程的解算子

    本文提出了一种被称为物理学知识不同 DeepONets 的新模型类，通过使用自动差分在模型训练期间施加软惩罚约束来实现重力定律，其将 DeepONet 模型输出偏向于确保物理一致性，进而显著提高 DeepONets 的预测准确性，并大大减少了大型训练数据集的需求。

    Mar, 2021

  • 利用不确定性量化来描述和改善偏微分方程的领域外学习

    在科学机器学习中，研究人员发现利用数据驱动的解算器学习可以提供快速的近似解决方案，作为传统数值偏微分方程求解器的替代方法。本研究通过聚合多个神经操作器，识别高误差区域并提供与预测误差相关的良好不确定性估计，从而解决了现有神经操作器方法在域外测试输入上的不确定性量化问题。基于这一结果，提出了一种经济高效的方法 DiverseNO，通过鼓励多个神经操作器在最后的前馈层中产生不同预测结果来模拟集成的特性。同时，引入了 Operator-ProbConserv 方法，将这些经过良好校准的不确定性估计嵌入 ProbConserv 框架以更新模型。实验结果表明，Operator-ProbConserv 提高了挑战性偏微分方程问题的域外模型性能，并满足了物理约束条件如守恒定律。

    Mar, 2024

  • 从数据中基于神经网络的方程发现：约束还是无约束？

    通过解决受约束的优化问题并使用类似于物理 - Informed 神经网络（PINN）的中间状态表示，我们将 PDE 表示为神经网络，以发现 PDE。我们使用惩罚方法和广泛使用的约束 - 区域障碍方法解决了此约束优化问题，并在数值示例上比较了这些方法。我们对 Burgers' 和 Korteweg-De Vreis 方程的结果表明，后一种约束方法在更高的噪声水平或更少的空间插值点上表现优于惩罚方法。对于这两种方法，我们使用传统方法（如有限差分方法）解决这些发现的神经网络 PDE，而不是依赖于自动微分的 PINNs 类型方法。我们简要介绍其他一些小但至关重要的实施细节。

    May, 2024

  • 元学习物理信息神经网络以高效求解新的偏微分方程

    我们提出了一种基于神经网络的元学习方法，用于高效解决偏微分方程（PDE）问题。该方法通过元学习来解决各种各样的 PDE 问题，并将这些知识用于解决新的 PDE 问题。我们使用神经网络将 PDE 问题编码成问题表示，其中，控制方程由偏导数的多项式函数的系数表示，边界条件由一组点条件对表示。我们将问题表示作为神经网络的输入来预测解决方案，通过神经网络的前向过程，我们能够高效地预测特定问题的解决方案，而无需更新模型参数。为了训练我们的模型，我们最小化在基于物理知识的神经网络框架中适应 PDE 问题时的预期误差，通过这种方式，即使解决方案未知，我们也能评估误差。我们证明了我们提出的方法在预测 PDE 问题的解决方案方面优于现有方法。

    Oct, 2023

  • 一种基于极限学习机的高维计算 PDEs 方法

    我们提出了两种基于随机神经网络解决高维偏微分方程 (PDE) 的有效方法。通过对这种类型网络的普适逼近性质的激励，这两种方法都将极限学习机 (ELM) 方法从低维扩展到高维。第一种方法中，$d$ 维度下未知解域由随机前向神经网络表示，其中隐藏层参数随机分配并固定，而输出层参数进行训练。PDE、边界 / 初值条件以及连续性条件 (对于方法的局部变量) 被施加在一组随机内部 / 边界对应点上。通过最小二乘解决其结果线性或非线性代数系统，从而得到网络参数的训练值。第二种方法通过一个基于近似理论的被约束表达式重新描述高维 PDE 问题，避免了随着维度增加而引发的 TFC 项数量的指数级增长。约束表达式中的自由域函数由随机神经网络表示，并通过类似于第一种方法的过程进行训练。我们进行了大量数值模拟，针对多个高维线性 / 非线性静态 / 动态 PDE，以展示这些方法的性能。与基于物理知识的神经网络 (PINN) 方法相比，当前方法在高维 PDEs 上既具有成本效益，又更准确。

    Sep, 2023