Feb, 2024

物理引导神经网络优化的建筑策略

PDF
TL;DR物理启发的神经网络（PINNs）通过将深度学习与基本物理原理相结合，为解决偏微分方程中的正向和反向问题提供了一种有前途的方法。本研究从神经网络架构的角度深入探讨了 PINN 优化的复杂性，利用神经切向核（NTK），揭示了高斯激活提供了比其他激活函数更有效训练 PINNs 的优势。在数值线性代数的启示下，我们引入了一种经过预处理的神经网络架构，展示了这种定制架构如何增强优化过程。我们通过对科学文献中已有的偏微分方程进行严格验证，证实了我们的理论发现。
physics-informed neural networkspinnsoptimizationgaussian activationspreconditioned neural architecture
发现论文，激发创造
  • 训练物理思维神经网络的专家指南

    通过提出一系列最佳实践，改进物理信息神经网络（PINNs）的训练效率和整体准确性，还展示了不同架构选择和训练策略如何影响结果模型的测试准确性。

    Aug, 2023

  • 通过物理知识指导的神经网络科学机器学习：现状和未来展望

    文章综述了物理学启发的神经网络（PINN）的文献，并介绍了其特点和优缺点。此外，研究还包括了使用 PINN 以及它的许多其他变体解决 PDE、分数方程、积分微分方程和随机 PDE 的广泛应用领域，以及它们的定制化方法，如不同的激活函数、梯度优化技术、神经网络结构和损失函数结构。虽然该方法被证明在某些情况下比有限元方法更可行，但它仍面临理论问题尚未解决。

    Jan, 2022

  • 基于物理信息的神经网络及其在物理信息机器学习中的相关模型的数值分析

    对物理启发机器学习中的物理信息神经网络和相关模型的数值分析结果进行综合评述，并重点阐述了在近似偏微分方程时 PINN 所产生的误差在各个组成部分的行为，以及与 PDE 类型和基础域维度相关的逼近、概括和训练误差的可用结果。同时阐明了解的稳定性和解的规则性对误差分析的作用，最后通过数值结果来说明训练误差对物理启发机器学习中各种模型整体性能的不利影响。

    Jan, 2024

  • 基于物理知识的神经网络框架用于障碍相关方程建模

    本文探索使用 PINNs 求解障碍相关的偏微分方程，通过多种场景对线性和非线性、规则和不规则障碍下的 PDE 进行求解，表现良好。

    Apr, 2023

  • 基于多任务优化的物理信息神经网络训练用于交通密度预测

    提出了一种基于多任务优化范式的物理信息神经网络（PINNs）训练框架，通过解决多个辅助任务来提升主任务的性能，应用于交通密度预测问题的训练中，实验结果表明相比传统方式，该框架显著提高了 PINN 的性能。

    Jul, 2023

  • 具有特征映射的物理引导神经网络的训练动态

    通过使用限制共轭核和神经切向核进行特征映射层的 PINNs 训练动态分析，我们揭示了模型收敛和普适性的一些内部机制。同时，我们发现常用的基于傅立叶变换的特征映射在某些情况下存在不足，并提出了条件正定的径向基函数作为更好的替代方案。实证结果表明我们的方法在各种正向和逆向问题集中具有有效性。这种简单的技术可以轻松地在坐标输入网络中实现，并使广泛的 PINNs 研究受益。

    Feb, 2024

  • 物理信息图神经 Galerkin 网络：求解 PDE 控制的正向和反向问题的统一框架

    本研究介绍了一种新型离散 PINN 框架，基于图卷积网络和 PDE 的变分结构，能够在前向和反向设置中严格施加边界条件和吸收稀疏数据，适用于处理不规则几何形状和非结构化网格等应用领域。

    Jul, 2021

  • 带硬约束的物理知识神经网络用于反问题设计

    本文提出一种基于物理约束神经网络（hPINNs）的新的深度学习方法用于解决基于偏微分方程（PDEs）和附加不等式的拓扑优化，该方法拥有硬约束，可在不需要偏微分方程求解器的情况下处理大量维度较高的问题。使用 hPINN 解决全息术和 Stokes 流动问题时，相较于基于伴随方法和数值 PDE 解算器的传统 PDE 约束优化方法，它们通常更简单、更平滑。

    Feb, 2021

  • 物理信息神经网络密集倍增

    提出了一种密集乘积 PINN (DM-PINN) 架构，通过将隐藏层的输出与所有后面的隐藏层的输出相乘，不引入更多的可训练参数，它可以显著提高 PINNs 的准确性。对四个基准示例 (Allan-Cahn 方程、Helmholtz 方程、Burgers 方程和 1D 对流方程) 对所提出的架构和不同的 PINN 结构进行比较，证明了 DM-PINN 在准确性和效率上的卓越性能。

    Feb, 2024

  • VS-PINN: 使用变量缩放方法解决具有严格行为的偏微分方程的物理约束神经网络的快速高效训练

    提出一种使用变量缩放技术训练物理信息神经网络（PINNs）的新方法，通过对神经切线核（NTK）的分析提供理论证据并证明这种方法确实可以提高 PINNs 的性能。

    Jun, 2024