Apr, 2023

物理信息征变基网络 (PIRBN): 一种用于解决非线性偏微分方程的本地逼近神经网络

PDF
TL;DR作者提出了一种带有径向基函数的物理信息神经网络用于求解具有高频特征和不适定计算域的偏微分方程问题，该网络可通过梯度下降法收敛到高斯过程，并且比传统 PINN 方法更加高效。
physics-informed neural networksradial basis networkgradient descendentneural tangent kernelill-posed computational domains
发现论文，激发创造
  • 物理信息边界积分网络（PIBI-Nets）：一种用于求解偏微分方程的数据驱动方法

    使用基于物理的深度神经网络的边界积分网络来解决少一个维度的偏微分方程问题，并在地下水流重建方面展示了出色的性能。

    Aug, 2023

  • 鲁棒的物理信息神经网络

    我们介绍了一种鲁棒版本的物理启发式神经网络（RPINN）来近似求解偏微分方程（PDEs），该方法利用能量范数计算的残差和格拉姆矩阵的倒数构建了损失函数，在两个空间维度的拉普拉斯问题和对流扩散问题中进行了测试，结果表明 RPINN 是一种鲁棒的方法，其损失函数与解的真实误差在能量范数下相符，因此我们可以知道训练过程进行得如何，并在达到所需精度的真实误差下停止训练来获得 PDE 解的神经网络逼近。

    Jan, 2024

  • 通过物理知识指导的神经网络科学机器学习：现状和未来展望

    文章综述了物理学启发的神经网络（PINN）的文献，并介绍了其特点和优缺点。此外，研究还包括了使用 PINN 以及它的许多其他变体解决 PDE、分数方程、积分微分方程和随机 PDE 的广泛应用领域，以及它们的定制化方法，如不同的激活函数、梯度优化技术、神经网络结构和损失函数结构。虽然该方法被证明在某些情况下比有限元方法更可行，但它仍面临理论问题尚未解决。

    Jan, 2022

  • PPINN: 时变偏微分方程的 Parareal 物理信息神经网络

    该研究介绍了一种名为 PPINN 的新型神经网络结构，可在短时间内解决时间依赖性偏微分方程问题，通过将一个长时间问题分解成许多由粗粒度求解器监督的独立短时间问题，PPINN 可以在几个迭代中实现收敛并获得显著加速。

    Sep, 2019

  • 二值结构化物理信息神经网络用于求解具有快速变化解的方程

    通过在前馈神经网络中嵌入偏微分方程所描述的物理信息，物理信息导向的神经网络（PINNs）作为深度学习的一种有前途的方法，用于解决偏微分方程（PDEs）。然而，尽管 PINNs 表现出卓越的性能，但它们在处理解快速变化的方程时可能面临困难。为了解决这些问题，我们提出了一种二进制结构的物理信息导向神经网络（BsPINN）框架，其中采用二进制结构神经网络（BsNN）作为神经网络组件。通过利用相对于完全连接的神经网络减少神经元连接的二进制结构，BsPINNs 在更有效和高效地捕捉解的局部特征方面表现出色。在一系列解决 Burgers 方程、Euler 方程、Helmholtz 方程和高维 Poisson 方程的数值实验中，BsPINNs 展现出优异的收敛速度和更高的准确性，相较于 PINNs。从这些实验中，我们发现 BsPINNs 解决了 PINNs 中增加的隐藏层导致过度平滑的问题，并防止了 PDEs 解不光滑导致准确性下降的问题。

    Jan, 2024

  • RoPINN: 区域优化的物理信息神经网络

    该研究论文介绍了物理知识驱动的神经网络在求解偏微分方程中的应用，并提出了一种新的区域优化训练范式，通过在连续邻域区域进行模型优化，有效降低了模型的泛化误差，尤其对于高阶约束的偏微分方程。该新范式产生了一种实用的训练算法 RoPINN，通过简单且有效的 Monte Carlo 抽样方法在信任区域内平衡了抽样效率和泛化误差。实验证明，RoPINN 显著提升了各种 PINNs 在多种偏微分方程上的性能，而无需额外的反向传播或梯度计算。

    May, 2024

  • 基于物理信息的分布式神经网络求解偏微分方程的数据高效方法

    通过测试传统 PINN 方法的表达能力，本论文提出了一种分布式 PINN（DPINN），并与原方法进行了对比，试图直接使用物理信息神经网络来解决非线性偏微分方程及二维稳态 Navier-Stokes 方程。

    Jul, 2019

  • 基于物理信息的神经网络及其在物理信息机器学习中的相关模型的数值分析

    对物理启发机器学习中的物理信息神经网络和相关模型的数值分析结果进行综合评述，并重点阐述了在近似偏微分方程时 PINN 所产生的误差在各个组成部分的行为，以及与 PDE 类型和基础域维度相关的逼近、概括和训练误差的可用结果。同时阐明了解的稳定性和解的规则性对误差分析的作用，最后通过数值结果来说明训练误差对物理启发机器学习中各种模型整体性能的不利影响。

    Jan, 2024

  • 物理引导神经网络优化的建筑策略

    物理启发的神经网络（PINNs）通过将深度学习与基本物理原理相结合，为解决偏微分方程中的正向和反向问题提供了一种有前途的方法。本研究从神经网络架构的角度深入探讨了 PINN 优化的复杂性，利用神经切向核（NTK），揭示了高斯激活提供了比其他激活函数更有效训练 PINNs 的优势。在数值线性代数的启示下，我们引入了一种经过预处理的神经网络架构，展示了这种定制架构如何增强优化过程。我们通过对科学文献中已有的偏微分方程进行严格验证，证实了我们的理论发现。

    Feb, 2024

  • PirateNets：基于残差自适应网络的物理驱动深度学习

    该研究针对物理信息神经网络（PINNs）在使用大型深度神经网络架构处理偏微分方程（PDE）驱动的正向和反向问题时性能下降的问题进行了研究，发现这种行为的根源是采用了不适合的初始化方案，导致网络对导数的训练能力较差，最终导致 PDE 残差损失的不稳定最小化。为了解决这个问题，引入了一种名为 Physics-informed Residual Adaptive Networks（PirateNets）的新型架构，旨在实现深层 PINN 模型的稳定和高效训练。PirateNets 采用一种新颖的自适应残差连接，允许网络在训练过程中作为浅层网络逐渐加深。研究还表明，所提出的初始化方案可以将给定 PDE 系统的适当归纳偏差编码到网络架构中。通过全面的实证研究，证明了 PirateNets 更易优化，并且可以从较大深度中获得准确性，最终在各种基准测试中取得了最先进的结果。本文附带的代码和数据将在 https://github.com/PredictiveIntelligenceLab/jaxpi 公开提供。

    Feb, 2024