本文回顾了科学机器学习的最新进展，特别关注物理启发式神经网络在预测物理系统结果和从噪声数据中发现隐藏的物理方面的有效性。我们提出了一个神经网络体系结构，该结构对梯度病理具有更强的鲁棒性，并提出了一个学习率退火算法，通过使用模型训练期间的梯度统计数据来平衡复合损失函数中不同项之间的相互作用。所有伴随本手稿的代码和数据都是公开可用的。

Jan, 2020

本文提出Finite Basis PINNs (FBPINNs)方法用于解决大规模微分方程问题。FBPINNs受到经典有限元方法的启发，使用神经网络学习有 紧支撑的有限基函数来表示微分方程的解，使其具有网格自由性和并行解决多尺度问题的能力。数值实验表明，FBPINNs既能够解决小模型问题，还能够高效准确地解决大规模复杂问题，比标准的PINNs方法具有更好的性能表现。

Jul, 2021

本文讨论了采用 Physics-informed Neural Networks 方法求解偏微分方程时遇到的挑战，提出了 MultiAdam 优化器，通过大量实验测试表明，MultiAdam 在预测精度上相较于已有算法有 1-2 个数量级的提升。

Jun, 2023

采用增广Lagrange方法（ALM）解决前向和反向问题，为了进一步提高计算效率和节省计算成本，采用小批量训练。

Jun, 2023

该研究提出了一种改进物理信息神经网络(PINNs)的训练方法，其中引入了非线性加性和乘性预处理策略以提高常用L-BFGS优化器的收敛性，并实现更精确的偏微分方程的解，同时提出了一种模型并行化方法。

Jun, 2023

基于人工神经网络的无网格Schwarz型非重叠域分解方法用于解决涉及偏微分方程的正向和反向问题，通过学习Robin参数以保证相邻子域之间解的一致性，并能够适应解的局部行为和域分割。

Jul, 2023

Mosaic Flow是一种新颖的域分解方法，通过推理利用在小域上预训练的网络，在大域上纯粹进行偏微分方程求解，实现高度的可重用性。本文介绍了Mosaic Flow的端到端并行化，将数据并行训练和域并行化相结合，用于大规模问题的推理。通过优化网络架构和数据并行训练，我们将学习拉普拉斯算子的训练时间显著缩短为32个GPU上的几分钟。此外，我们的分布式域分解算法使得在32个GPU上能够在域尺度大于训练域4096倍的情况下解决拉普拉斯方程，展示了较强的扩展性同时保持精度。Mosaic Flow的可重用性结合分布式内存算法所实现的性能改进，使其成为建模复杂物理现象和加速科学发现的有前景工具。

Aug, 2023

本文通过使用Schwarz交替方法将物理信息神经网络(PINNs)与传统数值模型进行耦合，探索了在非线性偏微分方程中加速神经网络训练的方法，并在一维平流-扩散方程中验证了该方法对提高PINN训练的有效性。

Nov, 2023

综述了黑箱机器学习方法与传统数值方法和领域专业知识相结合的混合算法在科学机器学习和各种工业领域，尤其是计算科学与工程中的重要性日益增长。对结合机器学习和区域分解方法的研究进行了调查，包括：经典机器学习的区域分解，用于加速物理感知神经网络训练的区域分解，使用机器学习改善区域分解方法的收敛性或计算效率，以及机器学习作为解决偏微分方程区域分解方法的离散化方法。在每个领域，总结了现有工作和重要进展，并最后讨论了未来研究的挑战和机会。

Dec, 2023

本文提出了一种基于对称群的域分解策略，以增强物理信息神经网络（PINN）对具有李对称群的偏微分方程（PDE）的正向和反向问题的求解能力，该方法通过将整个训练域划分为多个不重叠的子域，并利用PINN和对称增强PINN方法在每个子域中学习解决方案，最后将它们拼接成PDE的整体解。通过Korteweg-de Vries方程和非线性粘性流体方程的数值结果表明，该方法显著提高了学习解的精度。

Apr, 2024