Feb, 2024

PirateNets：基于残差自适应网络的物理驱动深度学习

PDF
TL;DR该研究针对物理信息神经网络（PINNs）在使用大型深度神经网络架构处理偏微分方程（PDE）驱动的正向和反向问题时性能下降的问题进行了研究，发现这种行为的根源是采用了不适合的初始化方案，导致网络对导数的训练能力较差，最终导致 PDE 残差损失的不稳定最小化。为了解决这个问题，引入了一种名为 Physics-informed Residual Adaptive Networks（PirateNets）的新型架构，旨在实现深层 PINN 模型的稳定和高效训练。PirateNets 采用一种新颖的自适应残差连接，允许网络在训练过程中作为浅层网络逐渐加深。研究还表明，所提出的初始化方案可以将给定 PDE 系统的适当归纳偏差编码到网络架构中。通过全面的实证研究，证明了 PirateNets 更易优化，并且可以从较大深度中获得准确性，最终在各种基准测试中取得了最先进的结果。本文附带的代码和数据将在 https://github.com/PredictiveIntelligenceLab/jaxpi 公开提供。
physics-informed neural networkspinnsmulti-layer perceptronphysics-informed residual adaptive networkspiratenets
发现论文，激发创造
  • 鲁棒的物理信息神经网络

    我们介绍了一种鲁棒版本的物理启发式神经网络（RPINN）来近似求解偏微分方程（PDEs），该方法利用能量范数计算的残差和格拉姆矩阵的倒数构建了损失函数，在两个空间维度的拉普拉斯问题和对流扩散问题中进行了测试，结果表明 RPINN 是一种鲁棒的方法，其损失函数与解的真实误差在能量范数下相符，因此我们可以知道训练过程进行得如何，并在达到所需精度的真实误差下停止训练来获得 PDE 解的神经网络逼近。

    Jan, 2024

  • 训练物理思维神经网络的专家指南

    通过提出一系列最佳实践，改进物理信息神经网络（PINNs）的训练效率和整体准确性，还展示了不同架构选择和训练策略如何影响结果模型的测试准确性。

    Aug, 2023

  • 物理信息神经网络：用宽网络和有效激活减小残差损失

    本研究分析了物理信息神经网络（PINNs）中的剩余损失，并发现了通过研究其在临界点处的特性，找到了实现有效训练的条件。我们的分析揭示了一个良好高阶导数的激活函数在最小化剩余损失中起关键作用，进而提供了设计和选择 PINNs 有效激活函数的理论依据，并解释了为什么周期性激活函数在某些情况下表现出有希望的性能。最后，通过在几个偏微分方程上进行一系列实验验证了我们的发现。

    May, 2024

  • 基于物理知识的神经网络框架用于障碍相关方程建模

    本文探索使用 PINNs 求解障碍相关的偏微分方程，通过多种场景对线性和非线性、规则和不规则障碍下的 PDE 进行求解，表现良好。

    Apr, 2023

  • 基于超网络的元学习低秩物理知情神经网络

    通过提出一种轻量级低秩 PINN 和相关的超网络元学习算法，本研究有效地解决了在各种工程和应用科学应用中需要对多个输入参数进行重复数值模拟的问题，并展示了该方法在克服 PINN 的 “失败模式” 方面的有效性。

    Oct, 2023

  • 通过物理知识指导的神经网络科学机器学习：现状和未来展望

    文章综述了物理学启发的神经网络（PINN）的文献，并介绍了其特点和优缺点。此外，研究还包括了使用 PINN 以及它的许多其他变体解决 PDE、分数方程、积分微分方程和随机 PDE 的广泛应用领域，以及它们的定制化方法，如不同的激活函数、梯度优化技术、神经网络结构和损失函数结构。虽然该方法被证明在某些情况下比有限元方法更可行，但它仍面临理论问题尚未解决。

    Jan, 2022

  • 基于信息受控神经网络的多尺度深度学习框架

    使用物理信息神经网络（PINN）来解决具有多尺度问题的新框架，通过重新构建损失函数并应用不同数量的幂运算到损失项上以使损失函数中的项具有相近的数量级，并且引入分组正则化策略以解决不同子域中变化显著的问题，该方法使得具有不同数量级的损失项可以同时优化，推动了 PINN 在多尺度问题中的应用。

    Aug, 2023

  • 物理引导神经网络优化的建筑策略

    物理启发的神经网络（PINNs）通过将深度学习与基本物理原理相结合，为解决偏微分方程中的正向和反向问题提供了一种有前途的方法。本研究从神经网络架构的角度深入探讨了 PINN 优化的复杂性，利用神经切向核（NTK），揭示了高斯激活提供了比其他激活函数更有效训练 PINNs 的优势。在数值线性代数的启示下，我们引入了一种经过预处理的神经网络架构，展示了这种定制架构如何增强优化过程。我们通过对科学文献中已有的偏微分方程进行严格验证，证实了我们的理论发现。

    Feb, 2024

  • 利用软注意力机制的自适应物理知识神经网络

    本文提出了一种名为 SA-PINNs 的自适应训练方法，通过使用可训练的自适应权重和基于高斯过程回归的连续权重映射，使神经网络学习重点区域并获得了很好的性能，在多项线性和非线性基准测试问题中表现出色，是当前最先进的 PINN 算法之一。

    Sep, 2020

  • 可证明正确的物理信息神经网络

    本文介绍了一种基于物理信息的神经网络（PINN）来解决偏微分方程的方法，并提出了一种基于容差的正确性条件的后训练框架（CROWN），用于限制 PINN 残差误差，并在经典 PDE 和现实应用中进行了实际效果测试。

    May, 2023