带有 ReLU，leaky ReLU 和 softplus 激活函数的深度神经网络能够在 $L^p$ 意义下，证明地克服 Kolmogorov 偏微分方程中具有 Lipschitz 非线性的维数灾难

Sep, 2023

带有 ReLU，leaky ReLU 和 softplus 激活函数的深度神经网络能够在 $L^p$ 意义下，证明地克服 Kolmogorov 偏微分方程中具有 Lipschitz 非线性的维数灾难

Deep neural networks with ReLU, leaky ReLU, and softplus activation provably overcome the curse of dimensionality for Kolmogorov partial differential equations with Lipschitz nonlinearities in the $L^p$-sense

PDF

Julia Ackermann, Arnulf Jentzen, Thomas Kruse, Benno Kuckuck, Joshua Lee Padgett

TL;DR深度学习方法在逼近高维偏微分方程方面的研究，尤其是通过神经网络和活化函数的选择，可以有效地克服维数诅咒，并能够在多项式时间内以任意精度逼近解，为解决偏微分方程提供了广泛应用的前景。

Abstract

Recently, several deep learning (DL) methods for approximating high-dimensional partial differential equations (PDEs) have been proposed. The interest that these methods have generated in the literature is in lar

deep learning partial differential equations curse of dimensionality expressive power activation function

发现论文，激发创造

具有 ReLU、leaky ReLU 和 softplus 激活函数的深度神经网络在半线性偏微分方程空时解中可被证明地克服维数灾难

使用深度学习方法中的深度神经网络（DNN）和修正线性单元（ReLU）、渗漏线性单元（leaky ReLU）或软正单元（softplus）激活函数，可以在无维数的空间 - 时间区域中以 Lp 意义逼近具有 Lipschitz 连续非线性性质的半线性热方程的解。

Jun, 2024

神经网络深度证明在具有恒定扩散和非线性漂移系数的 Kolmogorov 偏微分方程数值逼近中克服了维度灾难

这篇论文揭示了深度人工神经网络在 Kolmogorov PDEs 数值逼近中克服了维数灾难的现象。我们证明了所用 DNN 模型的参数数量在 PDE 维数 d 和逼近精度的倒数 ε 的倒数中，最多呈多项式增长。

Sep, 2018

高维偏微分方程的 DNN 表达率分析：期权定价应用

该研究使用深度 ReLU 网络对 Kolmogorov 方程的一类多元解的逼近速度进行了分析，并应用于对欧式最大期权价格模型问题的求解，证明了高维解空间中的 PDE 解可以通过深度 ReLU 网络进行逼近，并提供了深层神经网络表达能力分析的技术。

Sep, 2018

深度神经网络和参数化偏微分方程的理论分析

本研究旨在通过利用解空间的低维特性，导出 ReLU 神经网络逼近参数化偏微分方程解映射复杂度的上界，具有较传统神经网络逼近结果更优的逼近速率。具体而言，在不了解具体形状的情况下，我们利用小型降维基解的存在性，构建了一些神经网络，以便大范围参数化偏微分方程可以提供这样的参数化解映射逼近，而这些网络的大小基本只取决于基解的大小。

Mar, 2019

基于物理信息的深度学习和压缩选点法，高维扩散反应方程的实际存在理论和数值计算

利用稀疏技术和随机采样的最新进展，本研究基于深度学习开发和分析了一个高维偏微分方程求解器，理论和数值结果表明其在稳定性和准确性方面可以与一个新型的压缩谱逼近方法竞争，并证明了存在一类可训练的深度神经网络，具有适当的网络结构和样本复杂度的充分条件，并以对数或最坏情况下的线性扩展在维度上稳定且准确地逼近扩散 - 反应型偏微分方程的高概率。

Jun, 2024

以偏微分方程为基础的深度神经网络

该论文通过偏微分方程的理论框架，提出了三种新型的 ResNet 神经网络架构，分别属于抛物线和双曲线类型的 CNN，能够提供深度学习的新算法和思路，并用数值实验证明了它们的竞争力。

Apr, 2018

高维随机偏微分方程深度神经网络代理

利用深度学习方法解决高维随机偏微分方程的问题。通过使用全连接深度残差网络来逼近随机偏微分方程，在确定逼近深度神经网络的参数时，采用了 SGD 的变种，并在扩散和热传导问题上得到了验证。

Jun, 2018

使用深度学习求解高维偏微分方程

通过使用神经网络逼近未知解的梯度来解决高维偏微分方程，该算法在包括非线性 Black-Scholes 方程、Hamilton-Jacobi-Bellman 方程和 Allen-Cahn 方程等方程上均取得了精确和低误差的结果。

Jul, 2017

修正的深度神经网络克服非线性僵硬系统的零和博弈中非平滑价值函数的维度诅咒

该研究表明，对于具有强刚性系数的广泛控制随机微分方程，相关零和博弈的价值函数可以由深度人工神经网络来表示，该网络的复杂度在状态方程的维度和所需精度的倒数方面都呈多项式增长。

Mar, 2019

深度神经网络逼近复合函数的无维度诅咒

本文发现使用修正线性单元（ReLU）激活的深度神经网络（DNNs）可以近似表示一类高维连续函数，其参数数量与输入维度和近似误差的多项式规模相同，该类函数由多个特殊函数的组合表示，包括乘积，最大值和某些并行的 Lipschitz 连续函数。

Apr, 2023