May, 2024

深度祈兹方法中使用 PGD 训练的三层神经网络的误差分析

PDF
TL;DR在这项工作中，我们专注于利用三层 tanh 神经网络在深 Ritz 方法 (DRM) 框架中解决具有三种不同边界条件的二阶椭圆方程，通过使用投影梯度下降 (PDG) 来训练三层网络并建立其全局收敛。我们对过参数化网络用于解决 PDE 问题的全面误差分析，同时包括近似误差、泛化误差和优化误差的估计，提供了样本大小 $n$ 的误差界限，并为投影梯度下降算法中的网络深度、宽度、步长和迭代次数的设置提供了指导。这项工作的假设是经典的，不需要对方程的解作任何附加假设，确保了我们结果的广泛适用性和普遍性。
发现论文，激发创造
  • 多层次深度学习对偏微分方程的应用：以 Burgers 方程为例

    本论文提出了一种多级深度学习方法来解决非线性偏微分方程（PDEs），该方法能够高效地学习方程的解，并且在预测准确性上优于现有的单级深度学习方法

    Sep, 2023

  • DGM：一种用于解决偏微分方程的深度学习算法

    提出了一种名为 Deep Galerkin Method（DGM）的算法，它使用深度神经网络来解决高维偏微分方程问题。相较于形成网格，该算法不依赖于网格，而是通过对随机采样的时间和空间点的批量训练来实现。它在一类高维自由边界的偏微分方程、高维哈密顿 - 雅各比 - 贝尔曼（Hamilton-Jacobi-Bellman）偏微分方程和 Burgers 方程上得到了测试，并且在高维空间中能够准确地近似各种边界条件和物理条件下的 Burgers 方程的一般解。此外，论文还证明了神经网络在一类拟线性抛物型偏微分方程上的逼近能力。

    Aug, 2017

  • 高维随机偏微分方程深度神经网络代理

    利用深度学习方法解决高维随机偏微分方程的问题。通过使用全连接深度残差网络来逼近随机偏微分方程，在确定逼近深度神经网络的参数时，采用了 SGD 的变种，并在扩散和热传导问题上得到了验证。

    Jun, 2018

  • 用于求解偏微分方程的 Deep Galerkin 和 PINNs 方法的全局收敛性

    此研究论文探讨了如何利用深度学习的方法解决高维偏微分方程的问题，并证明了 Deep Galerkin Method 和 Physics Informed Neural Networks 神经网络逼近器的全局收敛性，随着隐藏单元数的增加，这些神经网络收敛于一个无限维线性常微分方程的解。

    May, 2023

  • 基于多层卷积神经网络的参数化偏微分方程求解

    该论文提出了一种将多层求解器和基于神经网络的深度学习方法相结合的新方法，用于解决高维参数的偏微分方程数值解问题，并在理论和实验方面都得到了验证。

    Apr, 2023

  • 一种基于极限学习机的高维计算 PDEs 方法

    我们提出了两种基于随机神经网络解决高维偏微分方程 (PDE) 的有效方法。通过对这种类型网络的普适逼近性质的激励，这两种方法都将极限学习机 (ELM) 方法从低维扩展到高维。第一种方法中，$d$ 维度下未知解域由随机前向神经网络表示，其中隐藏层参数随机分配并固定，而输出层参数进行训练。PDE、边界 / 初值条件以及连续性条件 (对于方法的局部变量) 被施加在一组随机内部 / 边界对应点上。通过最小二乘解决其结果线性或非线性代数系统，从而得到网络参数的训练值。第二种方法通过一个基于近似理论的被约束表达式重新描述高维 PDE 问题，避免了随着维度增加而引发的 TFC 项数量的指数级增长。约束表达式中的自由域函数由随机神经网络表示，并通过类似于第一种方法的过程进行训练。我们进行了大量数值模拟，针对多个高维线性 / 非线性静态 / 动态 PDE，以展示这些方法的性能。与基于物理知识的神经网络 (PINN) 方法相比，当前方法在高维 PDEs 上既具有成本效益，又更准确。

    Sep, 2023

  • 深度神经网络和参数化偏微分方程的理论分析

    本研究旨在通过利用解空间的低维特性，导出 ReLU 神经网络逼近参数化偏微分方程解映射复杂度的上界，具有较传统神经网络逼近结果更优的逼近速率。具体而言，在不了解具体形状的情况下，我们利用小型降维基解的存在性，构建了一些神经网络，以便大范围参数化偏微分方程可以提供这样的参数化解映射逼近，而这些网络的大小基本只取决于基解的大小。

    Mar, 2019

  • 基于量子启发式张量神经网络求解偏微分方程

    本文介绍了如何通过 Tensor Neural Networks 来解决 Partial Differential Equations 的问题，实现了与 Deep Neural Network 同样精度的情况下更小的参数及更快的训练速度，并以 Black-Scholes-Barenblatt equation 模型为例进行了测试验证。

    Aug, 2022

  • 深度放松：用偏微分方程优化深度神经网络

    通过与非线性偏微分方程的连接，将统计物理中的松弛技术重新解释为粘性哈密尔顿 - 雅各比偏微分方程的解，并利用随机控制理论证明改进的算法表现比随机梯度下降更好，在数学上分析了该算法的应用及众所周知的偏微分方程的规则性结果，并推导出实现算法中的随机同化问题的偏微分方程，该算法能有效地处理现代神经网络的高维数据。

    Apr, 2017

  • 使用深度学习求解高维偏微分方程

    通过使用神经网络逼近未知解的梯度来解决高维偏微分方程，该算法在包括非线性 Black-Scholes 方程、Hamilton-Jacobi-Bellman 方程和 Allen-Cahn 方程等方程上均取得了精确和低误差的结果。

    Jul, 2017