动量消减物理信息神经网络中的谱偏差影响

Jun, 2022

动量消减物理信息神经网络中的谱偏差影响

Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks

Ghazal Farhani, Alexander Kazachek, Boyu Wang

TL;DR本文介绍了物理指导神经网络算法在解决涉及偏微分方程的问题方面的应用，重点研究了在随机梯度下降优化算法下演化的神经网络所用的神经切向核，证实该神经核显著减少了谱偏差的影响，并且通过对广泛神经网络的训练，实验结果表明在高频项存在的情况下，宽度合适的神经网络仍可以收敛于理想的解决方案。

Abstract

physics-informed neural network (PINN) algorithms have shown promising results in solving a wide range of problems involving partial differential equations (PDEs). However, they often fail to converge to desirable solutions when the target function contains high-frequency features, due

physics-informed neural network partial differential equations stochastic gradient descent neural tangent kernels convergence

发现论文，激发创造

物理信息神经网络在频谱范围和导数阶数上的收敛行为研究

该研究通过对不同频率、组合和方程的简单正弦函数进行一系列数值实验，发现在标准化条件下，具有任意阶微分方程的物理知情神经网络确实存在明显的谱偏差，并随微分方程的阶数而增加。

Jan, 2023

光谱偏差和内核任务对齐在物理信息神经网络中的应用

物理信息神经网络是一种有效求解偏微分方程的新方法，通过理论框架将其与高斯过程回归等价，并推导出由其架构选择所引起的核项来增强其预测能力，并通过源项的谱分解量化其隐含偏差

Jul, 2023

神经切向核视角下 PINNs 训练失败的时间和原因

本文从神经切向核角度研究了具有物理约束的神经网络的训练以及其训练过程中收敛率不同的 loss 组件，提出了一种利用 NTK 的特征值来自适应地校准误差收敛率的优化算法。

Jul, 2020

用隐式随机梯度下降训练物理感知神经网络

本文提出了使用隐式随机梯度下降方法来训练物理学指导神经网络，并经过理论和实验分析证明该方法能够有效地提高训练过程的稳定性，并比 SGD 和 Adam 等其他优化方法更有效地解决训练动态中的数值僵硬问题。

Mar, 2023

从回归到物理启发式神经网络的多尺度偏微分方程求解的傅里叶特征网络中的特征向量偏差

本研究采用神经切向核理论观察了物理知识指导神经网络的局限性，并通过构建新的体系结构使用时空和多尺度随机傅里叶特征，成功解决了波传播、反应扩散动力学等多尺度问题。

Dec, 2020

非线性物理网络的挑战

通过理论结果及数值示例，我们揭示部分微分方程的神经切向核心观点下，非线性微分算子呈现不同行为，以及使用二阶方法训练物理信息神经网络的优势和收敛能力，同时解决谱偏差和收敛速度慢的挑战。

Feb, 2024

多项式神经网络的谱偏差

本文探讨了多项式神经网络在图像生成和人脸识别方面的有效性，还研究了神经网络具有低频函数方面的谱偏向性，发现多项式神经网络可以通过引入乘法交互项加速学习，提供了设计架构和学习框架的新洞察。

Feb, 2022

物理引导神经网络优化的建筑策略

物理启发的神经网络（PINNs）通过将深度学习与基本物理原理相结合，为解决偏微分方程中的正向和反向问题提供了一种有前途的方法。本研究从神经网络架构的角度深入探讨了 PINN 优化的复杂性，利用神经切向核（NTK），揭示了高斯激活提供了比其他激活函数更有效训练 PINNs 的优势。在数值线性代数的启示下，我们引入了一种经过预处理的神经网络架构，展示了这种定制架构如何增强优化过程。我们通过对科学文献中已有的偏微分方程进行严格验证，证实了我们的理论发现。

Feb, 2024

通过修改核的频谱来控制宽型神经网络的归纳偏差

宽神经网络的收敛速度和可达函数受到一定偏好，因此需要一种可以根据任务修改此偏好的方法。为此，我们介绍了修改光谱核 (MSKs)，这是一种新型的构造核，可用于近似具有所需特征值的核函数，尽管没有已知的闭式形式。我们利用宽神经网络和神经切线核之间的对偶性，提出了一种预条件梯度下降方法，可以改变梯度下降的轨迹，从而实现多项式和 (在某些情况下) 指数级的训练加速，同时不改变最终解，我们的方法既计算高效又易于实施。

Jul, 2023

具有特征映射的物理引导神经网络的训练动态

通过使用限制共轭核和神经切向核进行特征映射层的 PINNs 训练动态分析，我们揭示了模型收敛和普适性的一些内部机制。同时，我们发现常用的基于傅立叶变换的特征映射在某些情况下存在不足，并提出了条件正定的径向基函数作为更好的替代方案。实证结果表明我们的方法在各种正向和逆向问题集中具有有效性。这种简单的技术可以轻松地在坐标输入网络中实现，并使广泛的 PINNs 研究受益。

Feb, 2024