提出了一种新颖的双层重叠添加 Schwarz 预条件器，用于加速科学机器学习应用的训练，通过在网络参数中引入重叠区域的组（子域），间接通过一种新颖的子域同步策略和粗粒度训练步骤实现网络的前馈结构，并通过一系列数值实验表明，所提出的双层预条件器显著加速了标准（LBFGS）优化器的收敛速度，同时产生了更准确的机器学习模型，此外，所设计的预条件器可以充分利用模型并行计算，从而进一步减少训练时间。

Jun, 2024

本文通过使用 Schwarz 交替方法将物理信息神经网络 (PINNs) 与传统数值模型进行耦合，探索了在非线性偏微分方程中加速神经网络训练的方法，并在一维平流 - 扩散方程中验证了该方法对提高 PINN 训练的有效性。

Nov, 2023

我们提出了一种基于初始化和域分解的新型物理感知神经网络框架 IDPINN，以提高预测精度。我们使用小型数据集训练了一个 PINN，生成了初始的网络结构，包括加权矩阵和偏置，来为每个子域初始化 PINN。此外，我们利用界面上的平滑条件来增强预测性能。我们对几个正向问题进行了数值评估，并展示了 IDPINN 在准确性方面的优势。

Jun, 2024

本文研究了梯度下降算法在物理信息机器学习方法（如 PINNs）中的行为，这些方法最小化与偏微分方程（PDEs）相关的残差。我们的关键结果是，训练这些模型的难度与特定微分算子的条件数密切相关。这一算子与底层 PDE 的微分算子的共轭平方有关。如果这一算子的条件数糟糕，会导致训练缓慢或不可行。因此，对这一算子进行预处理非常重要。我们通过严格的数学分析和经验评估来研究各种策略，解释它们如何更好地处理这一关键算子的条件，进而改善训练。

Oct, 2023

本论文探讨了训练物理信息神经网络（PINNs）中的挑战，强调了损失函数在训练过程中的作用，并研究了由残差项中的微分算子引起的病态条件所带来的最小化 PINN 损失函数的困难。我们比较了梯度下降优化器 Adam、L-BFGS 以及它们的组合 Adam+L-BFGS，并展示了 Adam+L-BFGS 的优越性，同时引入了一种新的二阶优化器 NysNewton-CG（NNCG），它显著提高了 PINN 的性能。从理论上讲，我们的工作阐明了病态微分算子和 PINN 损失中的病态条件之间的联系，并展示了结合一阶和二阶优化方法的好处。我们的工作为训练 PINNs 提供了有价值的洞见和更强大的优化策略，这有助于改善 PINNs 在解决困难的偏微分方程中的效用。

Feb, 2024

综合应用多保真性堆叠物理信息神经网络和基于域分解的有限基础物理信息神经网络（PINNs）以改善时间相关问题的 PINNs 性能，表明域分解方法明显提高了 PINN 和堆叠 PINN 方法的性能。

Jan, 2024

物理启发的神经网络（PINNs）通过将深度学习与基本物理原理相结合，为解决偏微分方程中的正向和反向问题提供了一种有前途的方法。本研究从神经网络架构的角度深入探讨了 PINN 优化的复杂性，利用神经切向核（NTK），揭示了高斯激活提供了比其他激活函数更有效训练 PINNs 的优势。在数值线性代数的启示下，我们引入了一种经过预处理的神经网络架构，展示了这种定制架构如何增强优化过程。我们通过对科学文献中已有的偏微分方程进行严格验证，证实了我们的理论发现。

Feb, 2024

本文提出 Finite Basis PINNs (FBPINNs) 方法用于解决大规模微分方程问题。FBPINNs 受到经典有限元方法的启发，使用神经网络学习有 紧支撑的有限基函数来表示微分方程的解，使其具有网格自由性和并行解决多尺度问题的能力。数值实验表明，FBPINNs 既能够解决小模型问题，还能够高效准确地解决大规模复杂问题，比标准的 PINNs 方法具有更好的性能表现。

Jul, 2021

通过提出一系列最佳实践，改进物理信息神经网络（PINNs）的训练效率和整体准确性，还展示了不同架构选择和训练策略如何影响结果模型的测试准确性。

Aug, 2023

将几何变换与物理约束神经网络（PINNs）结合，通过将微分同胚作为参考域的映射并调整物理约束损失函数的导数计算，我们实现了对复杂几何和低维流形的 PINNs 的应用，从而允许在网络训练中进行直接的形状优化。通过对多个问题的示例验证，特别是在几何变化下，我们展示了该方法相比传统 PINNs 的增强灵活性。该框架为在科学和工程中基于参数化几何体上的偏微分方程（PDEs）进行高级建模铺平了道路。

Nov, 2023