Oct, 2023

一种运算符预条件视角下的物理信息机器学习训练

PDF
TL;DR本文研究了梯度下降算法在物理信息机器学习方法（如 PINNs）中的行为，这些方法最小化与偏微分方程（PDEs）相关的残差。我们的关键结果是，训练这些模型的难度与特定微分算子的条件数密切相关。这一算子与底层 PDE 的微分算子的共轭平方有关。如果这一算子的条件数糟糕，会导致训练缓慢或不可行。因此，对这一算子进行预处理非常重要。我们通过严格的数学分析和经验评估来研究各种策略，解释它们如何更好地处理这一关键算子的条件，进而改善训练。
发现论文，激发创造
  • 物理知识指导神经网络的可能失效模式表征

    本文研究了物理知识对神经网络的影响，尤其是对物理意义的学习。研究发现，使用以前的方法，神经网络会容易受到微妙的问题的困扰。为了解决这个问题，我们提出了课程规范化和序列到序列学习两种新的方法。通过使用这两种方法，我们可以取得比以前更好的结果。

    Sep, 2021

  • 训练 PINNs 中的挑战：损失空间的视角

    本论文探讨了训练物理信息神经网络（PINNs）中的挑战，强调了损失函数在训练过程中的作用，并研究了由残差项中的微分算子引起的病态条件所带来的最小化 PINN 损失函数的困难。我们比较了梯度下降优化器 Adam、L-BFGS 以及它们的组合 Adam+L-BFGS，并展示了 Adam+L-BFGS 的优越性，同时引入了一种新的二阶优化器 NysNewton-CG（NNCG），它显著提高了 PINN 的性能。从理论上讲，我们的工作阐明了病态微分算子和 PINN 损失中的病态条件之间的联系，并展示了结合一阶和二阶优化方法的好处。我们的工作为训练 PINNs 提供了有价值的洞见和更强大的优化策略，这有助于改善 PINNs 在解决困难的偏微分方程中的效用。

    Feb, 2024

  • 基于域分解的预处理策略提升物理知识神经网络训练

    该研究提出了一种改进物理信息神经网络 (PINNs) 的训练方法，其中引入了非线性加性和乘性预处理策略以提高常用 L-BFGS 优化器的收敛性，并实现更精确的偏微分方程的解，同时提出了一种模型并行化方法。

    Jun, 2023

  • PICL：基于物理信息的对比学习用于偏微分方程

    利用对比预训练框架和广义对比损失实现神经算子在多个方程上的泛化，提高了傅里叶神经算子在固定未来任务中的准确性和泛化能力，同时在一维热、Burgers' 和线性对流方程的自回归展开和超分辨率任务中表现出相当的性能。

    Jan, 2024

  • 物理专家神经网络的预处理

    通过使用条件数作为度量标准，证明条件数与错误控制和收敛性有关，并提出了一种利用预处理提高条件数的算法。18 个 PDE 问题的评估显示了我们方法的卓越性能，特别是在其中 7 个问题中，我们的方法将误差减少了一个数量级。这些实证发现验证了条件数在 PINNs 网络训练中的关键作用。

    Feb, 2024

  • 运算符学习增强的基于物理信息的神经网络用于解决具有尖锐解的偏微分方程

    在这项研究中，我们提出了一种名为 OL-PINN 的新型框架，将 DeepONet 与 PINN 相结合来解决具有尖锐解决方案的问题，并成功解决了非线性扩散反应方程、Burgers 方程和高雷诺数下的不可压纳维 - 斯托克斯方程等问题，提高了准确性和鲁棒性，同时广泛应用于解决逆问题。

    Oct, 2023

  • 预训练神经操作器的策略

    针对偏微分方程（PDE）建模的预训练最近展现出在扩展神经算子跨数据集以提高泛化能力和性能方面的潜力。尽管取得了这些进展，我们对预训练如何影响神经算子的理解仍然有限；研究通常提出了定制的架构和数据集，使得比较和检查不同预训练框架变得困难。为了解决这个问题，我们比较了各种预训练方法，没有优化架构选择，以表征不同模型和数据集上的预训练动态，并理解其扩展性和泛化行为。我们发现，预训练高度依赖于模型和数据集选择，但一般而言，迁移学习或基于物理学的预训练策略效果最佳。此外，使用数据增强可以进一步提高预训练性能。最后，当在稀缺数据环境下进行微调或推广到与预训练分布相似的下游数据时，预训练还具有额外的好处。通过提供有关预训练神经算子用于物理预测的见解，我们希望鼓励未来在 PDEs 的预训练方法开发和评估方面的工作。

    Jun, 2024

  • 基于物理知识的神经网络框架用于障碍相关方程建模

    本文探索使用 PINNs 求解障碍相关的偏微分方程，通过多种场景对线性和非线性、规则和不规则障碍下的 PDE 进行求解，表现良好。

    Apr, 2023

  • 面向物理信息的神经算子用于偏微分方程学习

    本文提出物理信息神经操作器（PINO），该方法使用现有的数据和物理约束条件来学习参数化偏微分方程（PDE）族的解算器，通过结合数据和 PDE 约束条件，PINO 成功地实现了高分辨率实例的准确性和泛化能力。

    Nov, 2021

  • 噪声感知的物理信息机器学习用于鲁棒的 PDE 发现

    本研究提出了一种基于噪声感知的物理信息机器学习框架以及基于离散傅里叶变换的去噪物理信息神经网络，用于通过数据发现物理系统的偏微分方程， 并在五个标准偏微分方程上进行实验证明了该方法的鲁棒性和可解释性。

    Jun, 2022