深度神经网络和参数化偏微分方程的理论分析

Mar, 2019

深度神经网络和参数化偏微分方程的理论分析

A Theoretical Analysis of Deep Neural Networks and Parametric PDEs

Gitta Kutyniok, Philipp Petersen, Mones Raslan, Reinhold Schneider

TL;DR本研究旨在通过利用解空间的低维特性，导出 ReLU 神经网络逼近参数化偏微分方程解映射复杂度的上界，具有较传统神经网络逼近结果更优的逼近速率。具体而言，在不了解具体形状的情况下，我们利用小型降维基解的存在性，构建了一些神经网络，以便大范围参数化偏微分方程可以提供这样的参数化解映射逼近，而这些网络的大小基本只取决于基解的大小。

Abstract

We derive upper bounds on the complexity of relu neural networks approximating the solution maps of parametric partial differential equations. In particular, without any knowledge of its concrete shape, we use th

relu neural networks partial differential equations approximation rates reduced basis parametric solution maps

发现论文，激发创造

深度神经网络求解参数扩散方程

本文探讨了近似理论对神经网络在数值分析实际学习问题中的影响，并以基于机器学习的参数化偏微分方程求解为例进行了全面的数值研究。研究表明，参数空间维度与求解子流形的内在维度对模型性能有微弱的影响。通过测试数据的优化和采样来确立测试用例之间的可比性。研究发现，近似理论对数值分析学习问题的实际行为产生了重要影响。

Apr, 2020

带有 ReLU，leaky ReLU 和 softplus 激活函数的深度神经网络能够在 $L^p$ 意义下，证明地克服 Kolmogorov 偏微分方程中具有 Lipschitz 非线性的维数灾难

深度学习方法在逼近高维偏微分方程方面的研究，尤其是通过神经网络和活化函数的选择，可以有效地克服维数诅咒，并能够在多项式时间内以任意精度逼近解，为解决偏微分方程提供了广泛应用的前景。

Sep, 2023

具有 ReLU、leaky ReLU 和 softplus 激活函数的深度神经网络在半线性偏微分方程空时解中可被证明地克服维数灾难

使用深度学习方法中的深度神经网络（DNN）和修正线性单元（ReLU）、渗漏线性单元（leaky ReLU）或软正单元（softplus）激活函数，可以在无维数的空间 - 时间区域中以 Lp 意义逼近具有 Lipschitz 连续非线性性质的半线性热方程的解。

Jun, 2024

神经网络深度证明在具有恒定扩散和非线性漂移系数的 Kolmogorov 偏微分方程数值逼近中克服了维度灾难

这篇论文揭示了深度人工神经网络在 Kolmogorov PDEs 数值逼近中克服了维数灾难的现象。我们证明了所用 DNN 模型的参数数量在 PDE 维数 d 和逼近精度的倒数 ε 的倒数中，最多呈多项式增长。

Sep, 2018

基于多层卷积神经网络的参数化偏微分方程求解

该论文提出了一种将多层求解器和基于神经网络的深度学习方法相结合的新方法，用于解决高维参数的偏微分方程数值解问题，并在理论和实验方面都得到了验证。

Apr, 2023

高维偏微分方程的 DNN 表达率分析：期权定价应用

该研究使用深度 ReLU 网络对 Kolmogorov 方程的一类多元解的逼近速度进行了分析，并应用于对欧式最大期权价格模型问题的求解，证明了高维解空间中的 PDE 解可以通过深度 ReLU 网络进行逼近，并提供了深层神经网络表达能力分析的技术。

Sep, 2018

参数化偏微分方程的模型简化和神经网络

发展了一种数据驱动输入输出图像无限维空间的近似方法，使用了神经网络和深度学习并结合模型缩减的思想，该方法在概念上定义于无限维空间上，并在实践中对计算所需的有限维空间的维度稳健，通过对输入输出映射的一类概率测度的选择，证明了所提出近似方法的收敛性。数值实验表明了该方法的有效性，并将其与现有的算法相比较。

May, 2020

高维随机偏微分方程深度神经网络代理

利用深度学习方法解决高维随机偏微分方程的问题。通过使用全连接深度残差网络来逼近随机偏微分方程，在确定逼近深度神经网络的参数时，采用了 SGD 的变种，并在扩散和热传导问题上得到了验证。

Jun, 2018

利用人工神经网络解决参数化偏微分方程问题

该研究论文展示了如何使用基于神经网络的方法用于数值偏微分方程中处理随机系数的问题，通过神经网络解决 PDE 问题从而简单和精确地表示物理量。

Jul, 2017

复杂地形中偏微分方程的统一深度人工神经网络方法

本文利用深度前馈人工神经网络近似求解复杂几何下的偏微分方程，并演示了如何修改反向传播算法来计算网络输出对空间变量的偏导数。此方法基于一种假设解法，只需要前馈神经网络和梯度优化方法，如梯度下降或拟牛顿方法，可以作为网格法无法使用时的有效替代方案。此外，本文还阐述了深度相比于浅度神经网络的优势及其他收敛增强技术的设想。

Nov, 2017