ICLRMar, 2023

物理约束神经网络中的优化探究

PDF
TL;DR比较了不同优化器对物理知识驱动神经网络（PINNs）精度的影响，并提出了一种新的方法，跟踪训练轨迹曲率以解释为什么某些优化器效果更好。通过研究线性平流方程确定了优化器选择对 PINNs 模型性能和精度的影响，同时发现收敛误差与优化器本地参考系中的曲率存在负相关。总结认为，在此案例中，较大的本地曲率值会产生更好的解决方案，因此，在高曲率区域中出现极小值会使 PINNs 的优化变得更加困难。
optimiser choicephysics-informed neural networkstraining trajectory curvaturemodel performanceconvergence error
发现论文，激发创造
  • 揭示物理任务导向神经网络的优化过程：PINN 能有多准确和有竞争力？

    研究通过改进优化算法和调整损失函数，得出物理感知神经网络在多个领域具有与有限差分方案相当的准确性，鼓励进一步推动 PINNs 和相关优化技术在各个领域的应用。

    May, 2024

  • 关于物理信息神经网络在线性二阶椭圆型和抛物型偏微分方程中的收敛性

    该论文介绍了新型 PINNs 的理论和实践研究，证明了其在解决偏微分方程方面的有效性和可靠性。

    Apr, 2020

  • 物理引导神经网络优化的建筑策略

    物理启发的神经网络（PINNs）通过将深度学习与基本物理原理相结合，为解决偏微分方程中的正向和反向问题提供了一种有前途的方法。本研究从神经网络架构的角度深入探讨了 PINN 优化的复杂性，利用神经切向核（NTK），揭示了高斯激活提供了比其他激活函数更有效训练 PINNs 的优势。在数值线性代数的启示下，我们引入了一种经过预处理的神经网络架构，展示了这种定制架构如何增强优化过程。我们通过对科学文献中已有的偏微分方程进行严格验证，证实了我们的理论发现。

    Feb, 2024

  • 基于物理信息的神经网络及其在物理信息机器学习中的相关模型的数值分析

    对物理启发机器学习中的物理信息神经网络和相关模型的数值分析结果进行综合评述，并重点阐述了在近似偏微分方程时 PINN 所产生的误差在各个组成部分的行为，以及与 PDE 类型和基础域维度相关的逼近、概括和训练误差的可用结果。同时阐明了解的稳定性和解的规则性对误差分析的作用，最后通过数值结果来说明训练误差对物理启发机器学习中各种模型整体性能的不利影响。

    Jan, 2024

  • RoPINN: 区域优化的物理信息神经网络

    该研究论文介绍了物理知识驱动的神经网络在求解偏微分方程中的应用，并提出了一种新的区域优化训练范式，通过在连续邻域区域进行模型优化，有效降低了模型的泛化误差，尤其对于高阶约束的偏微分方程。该新范式产生了一种实用的训练算法 RoPINN，通过简单且有效的 Monte Carlo 抽样方法在信任区域内平衡了抽样效率和泛化误差。实验证明，RoPINN 显著提升了各种 PINNs 在多种偏微分方程上的性能，而无需额外的反向传播或梯度计算。

    May, 2024

  • 训练物理思维神经网络的专家指南

    通过提出一系列最佳实践，改进物理信息神经网络（PINNs）的训练效率和整体准确性，还展示了不同架构选择和训练策略如何影响结果模型的测试准确性。

    Aug, 2023

  • 神经进化胜过随机梯度下降用于物理信息神经网络

    本研究分析了使用梯度下降算法在 PINN 中产生的复杂度和粗糙性，并证明使用神经进化算法作为 PINN 的替代方法可能更好。基准问题和基线结果表明，使用 JAX 实现神经进化可获得比标准实现快几个数量级的收敛速率。

    Dec, 2022

  • 研究用于自适应原位采样的引导信息在 PINNs 中的应用

    通过对区域内一组残差函数的评估，物理信息神经网络 (PINNs) 提供了通过目标函数的最小化来获取偏微分方程和系统的近似解的方法。本文考虑了选择这些点的几种策略，并研究了它们对方法整体精度的影响，指出没有单一的 “最优” 方法，但我们展示了在使用固定数量的残差评估时，一些重要指标如何提高结果质量。通过使用两个基准测试问题：Burgers' 方程和 Allen-Cahn 方程，我们详细说明了这些方法。

    Apr, 2024

  • 物理知识指导神经网络的可能失效模式表征

    本文研究了物理知识对神经网络的影响，尤其是对物理意义的学习。研究发现，使用以前的方法，神经网络会容易受到微妙的问题的困扰。为了解决这个问题，我们提出了课程规范化和序列到序列学习两种新的方法。通过使用这两种方法，我们可以取得比以前更好的结果。

    Sep, 2021

  • 鲁棒的物理信息神经网络

    我们介绍了一种鲁棒版本的物理启发式神经网络（RPINN）来近似求解偏微分方程（PDEs），该方法利用能量范数计算的残差和格拉姆矩阵的倒数构建了损失函数，在两个空间维度的拉普拉斯问题和对流扩散问题中进行了测试，结果表明 RPINN 是一种鲁棒的方法，其损失函数与解的真实误差在能量范数下相符，因此我们可以知道训练过程进行得如何，并在达到所需精度的真实误差下停止训练来获得 PDE 解的神经网络逼近。

    Jan, 2024