AAAIMar, 2023

用隐式随机梯度下降训练物理感知神经网络

PDF
TL;DR本文提出了使用隐式随机梯度下降方法来训练物理学指导神经网络，并经过理论和实验分析证明该方法能够有效地提高训练过程的稳定性，并比 SGD 和 Adam 等其他优化方法更有效地解决训练动态中的数值僵硬问题。
physics-informed neural networksimplicit stochastic gradient descentmulti-scale solutionstraining dynamicsquadratic loss function
发现论文，激发创造
  • 神经进化胜过随机梯度下降用于物理信息神经网络

    本研究分析了使用梯度下降算法在 PINN 中产生的复杂度和粗糙性，并证明使用神经进化算法作为 PINN 的替代方法可能更好。基准问题和基线结果表明，使用 JAX 实现神经进化可获得比标准实现快几个数量级的收敛速率。

    Dec, 2022

  • 逆狄利克雷加权使物理信息神经网络训练可靠

    本文研究并解决了深度神经网络（如物理信息神经网络）训练过程中可能出现的多尺度动态和尺度失衡引发的故障模式，通过提出一种简单而有效的逆狄利克雷加权策略来缓解问题，并在各种应用中进行了验证和比较。

    Jul, 2021

  • 基于物理知识的神经网络在高频和多尺度问题上的应用及迁移学习

    提供了使用转移学习来增强 PINN 的鲁棒性和收敛性的训练方法，通过两个案例研究发现转移学习可以有效训练 PINN 在低频问题到高频问题的近似解，同时减少了网络参数，所需数据点和训练时间。同时提供了优化器选择和使用转移学习解决更复杂问题的指南。

    Jan, 2024

  • VS-PINN: 使用变量缩放方法解决具有严格行为的偏微分方程的物理约束神经网络的快速高效训练

    提出一种使用变量缩放技术训练物理信息神经网络（PINNs）的新方法，通过对神经切线核（NTK）的分析提供理论证据并证明这种方法确实可以提高 PINNs 的性能。

    Jun, 2024

  • 物理信息图神经 Galerkin 网络：求解 PDE 控制的正向和反向问题的统一框架

    本研究介绍了一种新型离散 PINN 框架，基于图卷积网络和 PDE 的变分结构，能够在前向和反向设置中严格施加边界条件和吸收稀疏数据，适用于处理不规则几何形状和非结构化网格等应用领域。

    Jul, 2021

  • 动量消减物理信息神经网络中的谱偏差影响

    本文介绍了物理指导神经网络算法在解决涉及偏微分方程的问题方面的应用，重点研究了在随机梯度下降优化算法下演化的神经网络所用的神经切向核，证实该神经核显著减少了谱偏差的影响，并且通过对广泛神经网络的训练，实验结果表明在高频项存在的情况下，宽度合适的神经网络仍可以收敛于理想的解决方案。

    Jun, 2022

  • iPINNs: 物理信息神经网络的增量学习

    本文提出了一种增量 PINNs (iPINNs) 的方法，它可以连续学习多个偏微分方程（PDE），从而提高了对预测的准确性。

    Apr, 2023

  • 利用软注意力机制的自适应物理知识神经网络

    本文提出了一种名为 SA-PINNs 的自适应训练方法，通过使用可训练的自适应权重和基于高斯过程回归的连续权重映射，使神经网络学习重点区域并获得了很好的性能，在多项线性和非线性基准测试问题中表现出色，是当前最先进的 PINN 算法之一。

    Sep, 2020

  • 利用物理知识驱动的神经网络解决维度灾难

    开发了一种名为 Stochastic Dimension Gradient Descent (SDGD) 的新方法，用于扩展物理信息神经网络（PINNs）以解决任意高维 PDEs，并理论上证明了其收敛性和其他所需属性。

    Jul, 2023

  • 具有特征映射的物理引导神经网络的训练动态

    通过使用限制共轭核和神经切向核进行特征映射层的 PINNs 训练动态分析，我们揭示了模型收敛和普适性的一些内部机制。同时，我们发现常用的基于傅立叶变换的特征映射在某些情况下存在不足，并提出了条件正定的径向基函数作为更好的替代方案。实证结果表明我们的方法在各种正向和逆向问题集中具有有效性。这种简单的技术可以轻松地在坐标输入网络中实现，并使广泛的 PINNs 研究受益。

    Feb, 2024