Jun, 2024

具有 ReLU、leaky ReLU 和 softplus 激活函数的深度神经网络在半线性偏微分方程空时解中可被证明地克服维数灾难

PDF
TL;DR使用深度学习方法中的深度神经网络（DNN）和修正线性单元（ReLU）、渗漏线性单元（leaky ReLU）或软正单元（softplus）激活函数，可以在无维数的空间 - 时间区域中以 Lp 意义逼近具有 Lipschitz 连续非线性性质的半线性热方程的解。
发现论文，激发创造
  • 带有 ReLU，leaky ReLU 和 softplus 激活函数的深度神经网络能够在 $L^p$ 意义下，证明地克服 Kolmogorov 偏微分方程中具有 Lipschitz 非线性的维数灾难

    深度学习方法在逼近高维偏微分方程方面的研究，尤其是通过神经网络和活化函数的选择，可以有效地克服维数诅咒，并能够在多项式时间内以任意精度逼近解，为解决偏微分方程提供了广泛应用的前景。

    Sep, 2023

  • 神经网络深度证明在具有恒定扩散和非线性漂移系数的 Kolmogorov 偏微分方程数值逼近中克服了维度灾难

    这篇论文揭示了深度人工神经网络在 Kolmogorov PDEs 数值逼近中克服了维数灾难的现象。我们证明了所用 DNN 模型的参数数量在 PDE 维数 d 和逼近精度的倒数 ε 的倒数中，最多呈多项式增长。

    Sep, 2018

  • 深度神经网络和参数化偏微分方程的理论分析

    本研究旨在通过利用解空间的低维特性，导出 ReLU 神经网络逼近参数化偏微分方程解映射复杂度的上界，具有较传统神经网络逼近结果更优的逼近速率。具体而言，在不了解具体形状的情况下，我们利用小型降维基解的存在性，构建了一些神经网络，以便大范围参数化偏微分方程可以提供这样的参数化解映射逼近，而这些网络的大小基本只取决于基解的大小。

    Mar, 2019

  • 高维偏微分方程的 DNN 表达率分析：期权定价应用

    该研究使用深度 ReLU 网络对 Kolmogorov 方程的一类多元解的逼近速度进行了分析，并应用于对欧式最大期权价格模型问题的求解，证明了高维解空间中的 PDE 解可以通过深度 ReLU 网络进行逼近，并提供了深层神经网络表达能力分析的技术。

    Sep, 2018

  • 基于物理信息的深度学习和压缩选点法，高维扩散反应方程的实际存在理论和数值计算

    利用稀疏技术和随机采样的最新进展，本研究基于深度学习开发和分析了一个高维偏微分方程求解器，理论和数值结果表明其在稳定性和准确性方面可以与一个新型的压缩谱逼近方法竞争，并证明了存在一类可训练的深度神经网络，具有适当的网络结构和样本复杂度的充分条件，并以对数或最坏情况下的线性扩展在维度上稳定且准确地逼近扩散 - 反应型偏微分方程的高概率。

    Jun, 2024

  • 使用深度学习求解高维偏微分方程

    通过使用神经网络逼近未知解的梯度来解决高维偏微分方程，该算法在包括非线性 Black-Scholes 方程、Hamilton-Jacobi-Bellman 方程和 Allen-Cahn 方程等方程上均取得了精确和低误差的结果。

    Jul, 2017

  • 高维随机偏微分方程深度神经网络代理

    利用深度学习方法解决高维随机偏微分方程的问题。通过使用全连接深度残差网络来逼近随机偏微分方程，在确定逼近深度神经网络的参数时，采用了 SGD 的变种，并在扩散和热传导问题上得到了验证。

    Jun, 2018

  • 修正的深度神经网络克服非线性僵硬系统的零和博弈中非平滑价值函数的维度诅咒

    该研究表明，对于具有强刚性系数的广泛控制随机微分方程，相关零和博弈的价值函数可以由深度人工神经网络来表示，该网络的复杂度在状态方程的维度和所需精度的倒数方面都呈多项式增长。

    Mar, 2019

  • 以偏微分方程为基础的深度神经网络

    该论文通过偏微分方程的理论框架，提出了三种新型的 ResNet 神经网络架构，分别属于抛物线和双曲线类型的 CNN，能够提供深度学习的新算法和思路，并用数值实验证明了它们的竞争力。

    Apr, 2018

  • 一种基于极限学习机的高维计算 PDEs 方法

    我们提出了两种基于随机神经网络解决高维偏微分方程 (PDE) 的有效方法。通过对这种类型网络的普适逼近性质的激励，这两种方法都将极限学习机 (ELM) 方法从低维扩展到高维。第一种方法中，$d$ 维度下未知解域由随机前向神经网络表示，其中隐藏层参数随机分配并固定，而输出层参数进行训练。PDE、边界 / 初值条件以及连续性条件 (对于方法的局部变量) 被施加在一组随机内部 / 边界对应点上。通过最小二乘解决其结果线性或非线性代数系统，从而得到网络参数的训练值。第二种方法通过一个基于近似理论的被约束表达式重新描述高维 PDE 问题，避免了随着维度增加而引发的 TFC 项数量的指数级增长。约束表达式中的自由域函数由随机神经网络表示，并通过类似于第一种方法的过程进行训练。我们进行了大量数值模拟，针对多个高维线性 / 非线性静态 / 动态 PDE，以展示这些方法的性能。与基于物理知识的神经网络 (PINN) 方法相比，当前方法在高维 PDEs 上既具有成本效益，又更准确。

    Sep, 2023