Jul, 2023

PINNsFormer：基于 Transformer 的物理信息神经网络框架

PDF
TL;DR提出了一种名为 PINNsFormer 的基于 Transformer 的新型框架，通过在 Transformer 模型中利用多头注意力机制捕捉时间依赖关系，准确地近似了偏微分方程（PDE）的解。PINNsFormer 不仅适应了输入向量到伪序列和基于点的 PINNs 损失到序列 PINNs 损失的转变，还配备了一种名为 Wavelet 的新型激活函数，通过深度神经网络预估了傅里叶分解。通过大量实验，验证了 PINNsFormer 在多种情景下捕获 PDE 解的能力，并与传统 PINNs 相比，以极小的计算和内存成本，实现了更高的近似精度。
physics-informed neural networkspinnsformertransformer-based frameworktemporal dependenciesapproximation accuracy
发现论文，激发创造
  • 基于信息受控神经网络的多尺度深度学习框架

    使用物理信息神经网络（PINN）来解决具有多尺度问题的新框架，通过重新构建损失函数并应用不同数量的幂运算到损失项上以使损失函数中的项具有相近的数量级，并且引入分组正则化策略以解决不同子域中变化显著的问题，该方法使得具有不同数量级的损失项可以同时优化，推动了 PINN 在多尺度问题中的应用。

    Aug, 2023

  • 传统线性求解器能否被基于物理启发的深度学习所替代？

    本篇论文探讨了 PINN 作为线性求解器的潜力，在 Poisson 方程中评估了不同参数下的表现和精度，并且阐述了传递学习的关键作用。同时，论文也提出了将 PINN 与传统线性求解器相结合的方法，以解决高频解的问题，并表明该混合策略在发展具有潜力的新型线性求解器方面具有前景。

    Mar, 2021

  • 基于物理知识的神经网络框架用于障碍相关方程建模

    本文探索使用 PINNs 求解障碍相关的偏微分方程，通过多种场景对线性和非线性、规则和不规则障碍下的 PDE 进行求解，表现良好。

    Apr, 2023

  • 通过物理知识指导的神经网络科学机器学习：现状和未来展望

    文章综述了物理学启发的神经网络（PINN）的文献，并介绍了其特点和优缺点。此外，研究还包括了使用 PINN 以及它的许多其他变体解决 PDE、分数方程、积分微分方程和随机 PDE 的广泛应用领域，以及它们的定制化方法，如不同的激活函数、梯度优化技术、神经网络结构和损失函数结构。虽然该方法被证明在某些情况下比有限元方法更可行，但它仍面临理论问题尚未解决。

    Jan, 2022

  • 基于物理知识的神经网络在高频和多尺度问题上的应用及迁移学习

    提供了使用转移学习来增强 PINN 的鲁棒性和收敛性的训练方法，通过两个案例研究发现转移学习可以有效训练 PINN 在低频问题到高频问题的近似解，同时减少了网络参数，所需数据点和训练时间。同时提供了优化器选择和使用转移学习解决更复杂问题的指南。

    Jan, 2024

  • PPINN: 时变偏微分方程的 Parareal 物理信息神经网络

    该研究介绍了一种名为 PPINN 的新型神经网络结构，可在短时间内解决时间依赖性偏微分方程问题，通过将一个长时间问题分解成许多由粗粒度求解器监督的独立短时间问题，PPINN 可以在几个迭代中实现收敛并获得显著加速。

    Sep, 2019

  • iPINNs: 物理信息神经网络的增量学习

    本文提出了一种增量 PINNs (iPINNs) 的方法，它可以连续学习多个偏微分方程（PDE），从而提高了对预测的准确性。

    Apr, 2023

  • LatentPINNs：通过潜在表示学习生成物理信息神经网络

    本研究提出了一种名为 latentPINN 的框架，通过将偏微分方程（PDE）参数的潜在表示作为额外的输入进行 PINN 模型的训练，使用两个阶段的训练来学习 PDE 参数的潜在表示，并通过在解决区域内随机生成空间坐标和 PDE 参数值的样本进行物理感知神经网络的训练，试验结果表明该方法在不需要任何额外训练的情况下可以很好地适用于不同的 PDE 参数。

    May, 2023

  • 基于物理信息的分布式神经网络求解偏微分方程的数据高效方法

    通过测试传统 PINN 方法的表达能力，本论文提出了一种分布式 PINN（DPINN），并与原方法进行了对比，试图直接使用物理信息神经网络来解决非线性偏微分方程及二维稳态 Navier-Stokes 方程。

    Jul, 2019

  • 基于物理信息的神经网络及其在物理信息机器学习中的相关模型的数值分析

    对物理启发机器学习中的物理信息神经网络和相关模型的数值分析结果进行综合评述，并重点阐述了在近似偏微分方程时 PINN 所产生的误差在各个组成部分的行为，以及与 PDE 类型和基础域维度相关的逼近、概括和训练误差的可用结果。同时阐明了解的稳定性和解的规则性对误差分析的作用，最后通过数值结果来说明训练误差对物理启发机器学习中各种模型整体性能的不利影响。

    Jan, 2024