从回归到物理启发式神经网络的多尺度偏微分方程求解的傅里叶特征网络中的特征向量偏差

Dec, 2020

从回归到物理启发式神经网络的多尺度偏微分方程求解的傅里叶特征网络中的特征向量偏差

On the eigenvector bias of Fourier feature networks: From regression to solving multi-scale PDEs with physics-informed neural networks

PDF

Sifan Wang, Hanwen Wang, Paris Perdikaris

TL;DR本研究采用神经切向核理论观察了物理知识指导神经网络的局限性，并通过构建新的体系结构使用时空和多尺度随机傅里叶特征，成功解决了波传播、反应扩散动力学等多尺度问题。

Abstract

physics-informed neural networks (PINNs) are demonstrating remarkable promise in integrating physical models with gappy and noisy observational data, but they still struggle in cases where the target functions to be approximated exhibit high-frequency or multi-scale features. In this w

physics-informed neural networks neural tangent kernel multi-scale behavior wave propagation reaction-diffusion dynamics

发现论文，激发创造

物理信息神经网络在频谱范围和导数阶数上的收敛行为研究

该研究通过对不同频率、组合和方程的简单正弦函数进行一系列数值实验，发现在标准化条件下，具有任意阶微分方程的物理知情神经网络确实存在明显的谱偏差，并随微分方程的阶数而增加。

Jan, 2023

具有特征映射的物理引导神经网络的训练动态

通过使用限制共轭核和神经切向核进行特征映射层的 PINNs 训练动态分析，我们揭示了模型收敛和普适性的一些内部机制。同时，我们发现常用的基于傅立叶变换的特征映射在某些情况下存在不足，并提出了条件正定的径向基函数作为更好的替代方案。实证结果表明我们的方法在各种正向和逆向问题集中具有有效性。这种简单的技术可以轻松地在坐标输入网络中实现，并使广泛的 PINNs 研究受益。

Feb, 2024

物理引导神经网络优化的建筑策略

物理启发的神经网络（PINNs）通过将深度学习与基本物理原理相结合，为解决偏微分方程中的正向和反向问题提供了一种有前途的方法。本研究从神经网络架构的角度深入探讨了 PINN 优化的复杂性，利用神经切向核（NTK），揭示了高斯激活提供了比其他激活函数更有效训练 PINNs 的优势。在数值线性代数的启示下，我们引入了一种经过预处理的神经网络架构，展示了这种定制架构如何增强优化过程。我们通过对科学文献中已有的偏微分方程进行严格验证，证实了我们的理论发现。

Feb, 2024

VS-PINN: 使用变量缩放方法解决具有严格行为的偏微分方程的物理约束神经网络的快速高效训练

提出一种使用变量缩放技术训练物理信息神经网络（PINNs）的新方法，通过对神经切线核（NTK）的分析提供理论证据并证明这种方法确实可以提高 PINNs 的性能。

Jun, 2024

非线性物理网络的挑战

通过理论结果及数值示例，我们揭示部分微分方程的神经切向核心观点下，非线性微分算子呈现不同行为，以及使用二阶方法训练物理信息神经网络的优势和收敛能力，同时解决谱偏差和收敛速度慢的挑战。

Feb, 2024

神经切向核视角下 PINNs 训练失败的时间和原因

本文从神经切向核角度研究了具有物理约束的神经网络的训练以及其训练过程中收敛率不同的 loss 组件，提出了一种利用 NTK 的特征值来自适应地校准误差收敛率的优化算法。

Jul, 2020

光谱偏差和内核任务对齐在物理信息神经网络中的应用

物理信息神经网络是一种有效求解偏微分方程的新方法，通过理论框架将其与高斯过程回归等价，并推导出由其架构选择所引起的核项来增强其预测能力，并通过源项的谱分解量化其隐含偏差

Jul, 2023

基于物理知识的神经网络在高频和多尺度问题上的应用及迁移学习

提供了使用转移学习来增强 PINN 的鲁棒性和收敛性的训练方法，通过两个案例研究发现转移学习可以有效训练 PINN 在低频问题到高频问题的近似解，同时减少了网络参数，所需数据点和训练时间。同时提供了优化器选择和使用转移学习解决更复杂问题的指南。

Jan, 2024

基于信息受控神经网络的多尺度深度学习框架

使用物理信息神经网络（PINN）来解决具有多尺度问题的新框架，通过重新构建损失函数并应用不同数量的幂运算到损失项上以使损失函数中的项具有相近的数量级，并且引入分组正则化策略以解决不同子域中变化显著的问题，该方法使得具有不同数量级的损失项可以同时优化，推动了 PINN 在多尺度问题中的应用。

Aug, 2023

RBF-PINN：物理知情神经网络中的非傅里叶位置嵌入

基于物理约束的神经网络（PINNs）的研究中，我们发现来自更广泛的神经表示研究的特征映射往往被忽视，我们强调了在特定情况下经常使用的基于 Fourier 的特征映射的局限性，并建议使用条件正定的径向基函数，我们的实证发现证明了我们的方法在多种正向和反向问题案例中的有效性，我们的方法可以无缝地集成到基于坐标的输入神经网络中，并为 PINNs 研究的更广泛领域做出贡献。

Feb, 2024