基于平衡残差衰减率的自适应权重对物理感知神经网络和深度操作网络的应用

Jun, 2024

基于平衡残差衰减率的自适应权重对物理感知神经网络和深度操作网络的应用

Self-adaptive weights based on balanced residual decay rate for physics-informed neural networks and deep operator networks

HTML

PDF

Wenqian Chen, Amanda A. Howard, Panos Stinis

TL;DR基于物理信息的深度学习在求解偏微分方程方面已成为一种有希望的替代方法，但是对于复杂问题，训练这些网络仍然具有挑战性，导致精度和效率不理想。本文提出了一种点对点自适应加权方法，通过平衡不同训练点上残差衰减速度，解决了普通物理信息神经网络的失效问题。通过大量的数值结果，我们证明了所提出的残差衰减平衡方法具有权重有界、预测准确度高、收敛速度快、训练不确定性低、计算成本低以及超参数调节容易等多种优势。

Abstract

physics-informed deep learning has emerged as a promising alternative for solving partial differential equations. However, for complex problems, training these networks can still be challenging, often resulting in unsatisfactory accuracy and efficiency. In this work, we demonstrate tha

发现论文，激发创造

理解并减轻物理启示神经网络中的梯度病理

本文回顾了科学机器学习的最新进展，特别关注物理启发式神经网络在预测物理系统结果和从噪声数据中发现隐藏的物理方面的有效性。我们提出了一个神经网络体系结构，该结构对梯度病理具有更强的鲁棒性，并提出了一个学习率退火算法，通过使用模型训练期间的梯度统计数据来平衡复合损失函数中不同项之间的相互作用。所有伴随本手稿的代码和数据都是公开可用的。

Jan, 2020

逆狄利克雷加权使物理信息神经网络训练可靠

本文研究并解决了深度神经网络（如物理信息神经网络）训练过程中可能出现的多尺度动态和尺度失衡引发的故障模式，通过提出一种简单而有效的逆狄利克雷加权策略来缓解问题，并在各种应用中进行了验证和比较。

Jul, 2021

物理启发式神经网络的增广拉格朗日松弛方法

本研究提出了一种基于增广拉格朗日方法的Physics-Informed Neural Networks (AL-PINNs)算法，用于优化偏微分方程的残差问题，并通过数值实验证明了该方法相较于现有的自适应损失平衡算法具有更小的相对误差。

Apr, 2022

面向物理学习的算子学习的近似误差的通用界限

提出了一种通用的框架，用于导出物理相关神经网络（PINN）和操作器学习结构（如DeepONets和FNOs）以及物理相关操作器学习的逼近误差的严格界限，并保证这些结构将有效逼近一般偏微分方程（PDE）的解或解算子。

May, 2022

可证明正确的物理信息神经网络

本文介绍了一种基于物理信息的神经网络（PINN）来解决偏微分方程的方法，并提出了一种基于容差的正确性条件的后训练框架（CROWN），用于限制PINN残差误差，并在经典PDE和现实应用中进行了实际效果测试。

May, 2023

堆叠网络提升物理信息训练：神经网络和深度算子网络的应用

通过构建一系列的网络，其中一个步骤的输出可以作为下一步训练的低保真输入，我们提出了一种用于训练物理信息神经网络和运算网络的新型多保真度框架，通过迭代过程中逐步增加模型的表达能力，该方法的迭代特性使我们能够逐步学习直接难以学习的解的特征，通过非线性摆、波动方程和粘性Burgers方程等基准问题，我们展示了如何通过堆叠方法来提高物理信息神经网络和运算网络的准确性和减少所需的规模。

Nov, 2023

使用核加权修正残差的神经网络求解偏微分方程

通过设计模块化和强健的框架，引入核加权校正残差（CoRes）将核方法和深度神经网络相结合，提高了求解非线性偏微分方程系统的性能，并显著降低了神经网络对随机初始化、架构类型和优化器选择等因素的敏感性。

Jan, 2024

PirateNets：基于残差自适应网络的物理驱动深度学习

该研究针对物理信息神经网络（PINNs）在使用大型深度神经网络架构处理偏微分方程（PDE）驱动的正向和反向问题时性能下降的问题进行了研究，发现这种行为的根源是采用了不适合的初始化方案，导致网络对导数的训练能力较差，最终导致PDE残差损失的不稳定最小化。为了解决这个问题，引入了一种名为Physics-informed Residual Adaptive Networks（PirateNets）的新型架构，旨在实现深层PINN模型的稳定和高效训练。PirateNets采用一种新颖的自适应残差连接，允许网络在训练过程中作为浅层网络逐渐加深。研究还表明，所提出的初始化方案可以将给定PDE系统的适当归纳偏差编码到网络架构中。通过全面的实证研究，证明了PirateNets更易优化，并且可以从较大深度中获得准确性，最终在各种基准测试中取得了最先进的结果。本文附带的代码和数据将在https://github.com/PredictiveIntelligenceLab/jaxpi公开提供。

Feb, 2024

基于物理信息的无网格深度组合算子网络

参数化偏微分方程、神经算子、物理信息训练、不规则域形状和可变网格尺寸的研究

Apr, 2024

稳定的权重更新：使用深度学习可靠求解偏微分方程

本文通过引入基于残差的架构，即简单高速公路网络和平方残差网络，旨在增强物理导向神经网络(PINN)的稳定性和准确性，通过在各种线性和非线性、时间依赖和独立的偏微分方程例子上的大量数值实验证明了所提架构的有效性，特别是平方残差网络展现出了优秀的性能，相比传统神经网络实现了增强的稳定性和准确性，这些发现突显了基于残差的架构在推动偏微分方程和计算物理应用的深度学习方面的潜力。

Jul, 2024