训练物理思维神经网络的专家指南
文章综述了物理学启发的神经网络(PINN)的文献,并介绍了其特点和优缺点。此外,研究还包括了使用 PINN 以及它的许多其他变体解决 PDE、分数方程、积分微分方程和随机 PDE 的广泛应用领域,以及它们的定制化方法,如不同的激活函数、梯度优化技术、神经网络结构和损失函数结构。虽然该方法被证明在某些情况下比有限元方法更可行,但它仍面临理论问题尚未解决。
Jan, 2022
对物理启发机器学习中的物理信息神经网络和相关模型的数值分析结果进行综合评述,并重点阐述了在近似偏微分方程时 PINN 所产生的误差在各个组成部分的行为,以及与 PDE 类型和基础域维度相关的逼近、概括和训练误差的可用结果。同时阐明了解的稳定性和解的规则性对误差分析的作用,最后通过数值结果来说明训练误差对物理启发机器学习中各种模型整体性能的不利影响。
Jan, 2024
提出了一种基于多任务优化范式的物理信息神经网络(PINNs)训练框架,通过解决多个辅助任务来提升主任务的性能,应用于交通密度预测问题的训练中,实验结果表明相比传统方式,该框架显著提高了 PINN 的性能。
Jul, 2023
物理启发的神经网络(PINNs)通过将深度学习与基本物理原理相结合,为解决偏微分方程中的正向和反向问题提供了一种有前途的方法。本研究从神经网络架构的角度深入探讨了 PINN 优化的复杂性,利用神经切向核(NTK),揭示了高斯激活提供了比其他激活函数更有效训练 PINNs 的优势。在数值线性代数的启示下,我们引入了一种经过预处理的神经网络架构,展示了这种定制架构如何增强优化过程。我们通过对科学文献中已有的偏微分方程进行严格验证,证实了我们的理论发现。
Feb, 2024
提供了使用转移学习来增强 PINN 的鲁棒性和收敛性的训练方法,通过两个案例研究发现转移学习可以有效训练 PINN 在低频问题到高频问题的近似解,同时减少了网络参数,所需数据点和训练时间。同时提供了优化器选择和使用转移学习解决更复杂问题的指南。
Jan, 2024
该论文提出了使用集成的物理信息神经网络 (PINN) 来解决解偏微分方程 (PDEs) 的问题,通过逐步扩展解决方案间隔以及结合 PINN 模型集中观察点的解决方案的一致性来稳定 PINN 的培训,并使结果明显优于目前存在的时间自适应策略的 PINN 算法。
Apr, 2022
本文研究了物理知识对神经网络的影响,尤其是对物理意义的学习。研究发现,使用以前的方法,神经网络会容易受到微妙的问题的困扰。为了解决这个问题,我们提出了课程规范化和序列到序列学习两种新的方法。通过使用这两种方法,我们可以取得比以前更好的结果。
Sep, 2021
本文通过研究物理信息驱动的神经网络(PINNs)来编码控制方程,并评估其在两个不同系统的实验数据上的表现。我们发现,在简单的非线性摆系统中,PINNs 在理想数据情况下胜过了等效的无信息神经网络(NNs),在 10 个线性间隔和 10 个均匀分布的随机训练点上的准确度分别提高了 18 倍和 6 倍。在使用来自实验的真实数据进行类似测试的情况下,PINNs 相对于 NNs 的准确度提高了 9.3 倍和 9.1 倍,分别对应于 67 个线性间隔和均匀分布的随机点。此外,我们还研究了物理信息驱动模型在物理系统中的可行性,并选择 FPGA 作为部署计算的基板。鉴于此,我们使用了一台 PYNQ-Z1 FPGA 进行实验,并找出了与时间相干感知和空间数据对齐相关的问题。根据提出的系统架构和方法,我们讨论了从这项工作中获得的见解,并列出了未来工作计划。
Jan, 2024
通过使用限制共轭核和神经切向核进行特征映射层的 PINNs 训练动态分析,我们揭示了模型收敛和普适性的一些内部机制。同时,我们发现常用的基于傅立叶变换的特征映射在某些情况下存在不足,并提出了条件正定的径向基函数作为更好的替代方案。实证结果表明我们的方法在各种正向和逆向问题集中具有有效性。这种简单的技术可以轻松地在坐标输入网络中实现,并使广泛的 PINNs 研究受益。
Feb, 2024