PINN-BO:一种使用物理信息神经网络的黑盒优化算法
该研究论文介绍了物理知识驱动的神经网络在求解偏微分方程中的应用,并提出了一种新的区域优化训练范式,通过在连续邻域区域进行模型优化,有效降低了模型的泛化误差,尤其对于高阶约束的偏微分方程。该新范式产生了一种实用的训练算法 RoPINN,通过简单且有效的 Monte Carlo 抽样方法在信任区域内平衡了抽样效率和泛化误差。实验证明,RoPINN 显著提升了各种 PINNs 在多种偏微分方程上的性能,而无需额外的反向传播或梯度计算。
May, 2024
我们介绍了一种鲁棒版本的物理启发式神经网络(RPINN)来近似求解偏微分方程(PDEs),该方法利用能量范数计算的残差和格拉姆矩阵的倒数构建了损失函数,在两个空间维度的拉普拉斯问题和对流扩散问题中进行了测试,结果表明 RPINN 是一种鲁棒的方法,其损失函数与解的真实误差在能量范数下相符,因此我们可以知道训练过程进行得如何,并在达到所需精度的真实误差下停止训练来获得 PDE 解的神经网络逼近。
Jan, 2024
物理启发的神经网络(PINNs)通过将深度学习与基本物理原理相结合,为解决偏微分方程中的正向和反向问题提供了一种有前途的方法。本研究从神经网络架构的角度深入探讨了 PINN 优化的复杂性,利用神经切向核(NTK),揭示了高斯激活提供了比其他激活函数更有效训练 PINNs 的优势。在数值线性代数的启示下,我们引入了一种经过预处理的神经网络架构,展示了这种定制架构如何增强优化过程。我们通过对科学文献中已有的偏微分方程进行严格验证,证实了我们的理论发现。
Feb, 2024
本文提出物理信息神经操作器(PINO),该方法使用现有的数据和物理约束条件来学习参数化偏微分方程(PDE)族的解算器,通过结合数据和 PDE 约束条件,PINO 成功地实现了高分辨率实例的准确性和泛化能力。
Nov, 2021
提出一个贝叶斯物理知识推断神经网络(B-PINN)框架,结合贝叶斯神经网络(BNN)和偏微分方程参数复合神经网络(PINN)以解决由偏微分方程和噪声数据描述的前向和反向非线性问题,并进行不确定性量化和 posterior 分布估计。
Mar, 2020
文章综述了物理学启发的神经网络(PINN)的文献,并介绍了其特点和优缺点。此外,研究还包括了使用 PINN 以及它的许多其他变体解决 PDE、分数方程、积分微分方程和随机 PDE 的广泛应用领域,以及它们的定制化方法,如不同的激活函数、梯度优化技术、神经网络结构和损失函数结构。虽然该方法被证明在某些情况下比有限元方法更可行,但它仍面临理论问题尚未解决。
Jan, 2022
通过在前馈神经网络中嵌入偏微分方程所描述的物理信息,物理信息导向的神经网络(PINNs)作为深度学习的一种有前途的方法,用于解决偏微分方程(PDEs)。然而,尽管 PINNs 表现出卓越的性能,但它们在处理解快速变化的方程时可能面临困难。为了解决这些问题,我们提出了一种二进制结构的物理信息导向神经网络(BsPINN)框架,其中采用二进制结构神经网络(BsNN)作为神经网络组件。通过利用相对于完全连接的神经网络减少神经元连接的二进制结构,BsPINNs 在更有效和高效地捕捉解的局部特征方面表现出色。在一系列解决 Burgers 方程、Euler 方程、Helmholtz 方程和高维 Poisson 方程的数值实验中,BsPINNs 展现出优异的收敛速度和更高的准确性,相较于 PINNs。从这些实验中,我们发现 BsPINNs 解决了 PINNs 中增加的隐藏层导致过度平滑的问题,并防止了 PDEs 解不光滑导致准确性下降的问题。
Jan, 2024
提供了使用转移学习来增强 PINN 的鲁棒性和收敛性的训练方法,通过两个案例研究发现转移学习可以有效训练 PINN 在低频问题到高频问题的近似解,同时减少了网络参数,所需数据点和训练时间。同时提供了优化器选择和使用转移学习解决更复杂问题的指南。
Jan, 2024
使用基于物理的深度神经网络的边界积分网络来解决少一个维度的偏微分方程问题,并在地下水流重建方面展示了出色的性能。
Aug, 2023