May, 2024

理解使用 PINNs 解决 Cauchy 问题的困难性

PDF
TL;DR在本文中，我们针对 Cauchy 问题的情况，确定了使用 L2 残差作为目标函数和神经网络的逼近差异两个问题，指出最小化 L2 残差和初始条件误差的总和不足以保证真实解，并且神经网络无法捕捉解中的奇异性，这影响了全局极小值的存在和网络的正则性。我们通过数值实验支持了我们的理论观点。
physics-informed neural networkspinnsdifferential equationscauchy problemsneural networks
发现论文，激发创造
  • 可证明正确的物理信息神经网络

    本文介绍了一种基于物理信息的神经网络（PINN）来解决偏微分方程的方法，并提出了一种基于容差的正确性条件的后训练框架（CROWN），用于限制 PINN 残差误差，并在经典 PDE 和现实应用中进行了实际效果测试。

    May, 2023

  • 物理信息神经网络：用宽网络和有效激活减小残差损失

    本研究分析了物理信息神经网络（PINNs）中的剩余损失，并发现了通过研究其在临界点处的特性，找到了实现有效训练的条件。我们的分析揭示了一个良好高阶导数的激活函数在最小化剩余损失中起关键作用，进而提供了设计和选择 PINNs 有效激活函数的理论依据，并解释了为什么周期性激活函数在某些情况下表现出有希望的性能。最后，通过在几个偏微分方程上进行一系列实验验证了我们的发现。

    May, 2024

  • 鲁棒的物理信息神经网络

    我们介绍了一种鲁棒版本的物理启发式神经网络（RPINN）来近似求解偏微分方程（PDEs），该方法利用能量范数计算的残差和格拉姆矩阵的倒数构建了损失函数，在两个空间维度的拉普拉斯问题和对流扩散问题中进行了测试，结果表明 RPINN 是一种鲁棒的方法，其损失函数与解的真实误差在能量范数下相符，因此我们可以知道训练过程进行得如何，并在达到所需精度的真实误差下停止训练来获得 PDE 解的神经网络逼近。

    Jan, 2024

  • 基于物理信息的神经网络及其在物理信息机器学习中的相关模型的数值分析

    对物理启发机器学习中的物理信息神经网络和相关模型的数值分析结果进行综合评述，并重点阐述了在近似偏微分方程时 PINN 所产生的误差在各个组成部分的行为，以及与 PDE 类型和基础域维度相关的逼近、概括和训练误差的可用结果。同时阐明了解的稳定性和解的规则性对误差分析的作用，最后通过数值结果来说明训练误差对物理启发机器学习中各种模型整体性能的不利影响。

    Jan, 2024

  • 物理知识指导神经网络的可能失效模式表征

    本文研究了物理知识对神经网络的影响，尤其是对物理意义的学习。研究发现，使用以前的方法，神经网络会容易受到微妙的问题的困扰。为了解决这个问题，我们提出了课程规范化和序列到序列学习两种新的方法。通过使用这两种方法，我们可以取得比以前更好的结果。

    Sep, 2021

  • 尊重因果关系即可训练物理学感知神经网络

    本文提出一种简单的 PINNs 卷积方法，可显式考虑物理因果关系，在多尺度、混沌或湍流行为的动力学系统中实现更高的准确性和可靠性。

    Mar, 2022

  • 训练 PINNs 中的挑战：损失空间的视角

    本论文探讨了训练物理信息神经网络（PINNs）中的挑战，强调了损失函数在训练过程中的作用，并研究了由残差项中的微分算子引起的病态条件所带来的最小化 PINN 损失函数的困难。我们比较了梯度下降优化器 Adam、L-BFGS 以及它们的组合 Adam+L-BFGS，并展示了 Adam+L-BFGS 的优越性，同时引入了一种新的二阶优化器 NysNewton-CG（NNCG），它显著提高了 PINN 的性能。从理论上讲，我们的工作阐明了病态微分算子和 PINN 损失中的病态条件之间的联系，并展示了结合一阶和二阶优化方法的好处。我们的工作为训练 PINNs 提供了有价值的洞见和更强大的优化策略，这有助于改善 PINNs 在解决困难的偏微分方程中的效用。

    Feb, 2024

  • 关于在尊重因果关系下训练物理知识驱动神经网络的最优损失函数

    本研究提出了一种方法，可以将带有初始和边界条件的微分方程问题简化为仅由微分方程描述的问题，并基于广义函数构造了新的加权损失函数，以提高物理启发神经网络的准确性。

    Apr, 2023

  • 基于物理知识的神经网络框架用于障碍相关方程建模

    本文探索使用 PINNs 求解障碍相关的偏微分方程，通过多种场景对线性和非线性、规则和不规则障碍下的 PDE 进行求解，表现良好。

    Apr, 2023

  • 共形化物理信息神经网络

    利用符合预测框架的一致预测神经网络（C-PINNs），量化 PINNs 的不确定性，通过提供具有有限样本、无分布统计有效性的区间，解决常规 PINNs 不提供不确定性量化的问题。

    May, 2024