Sep, 2018

高维偏微分方程的 DNN 表达率分析：期权定价应用

PDF
TL;DR该研究使用深度 ReLU 网络对 Kolmogorov 方程的一类多元解的逼近速度进行了分析，并应用于对欧式最大期权价格模型问题的求解，证明了高维解空间中的 PDE 解可以通过深度 ReLU 网络进行逼近，并提供了深层神经网络表达能力分析的技术。
deep relu networksmulti-variate solutionsoption pricingtensor structuresblack-scholes model
发现论文，激发创造
  • 带有 ReLU，leaky ReLU 和 softplus 激活函数的深度神经网络能够在 $L^p$ 意义下，证明地克服 Kolmogorov 偏微分方程中具有 Lipschitz 非线性的维数灾难

    深度学习方法在逼近高维偏微分方程方面的研究，尤其是通过神经网络和活化函数的选择，可以有效地克服维数诅咒，并能够在多项式时间内以任意精度逼近解，为解决偏微分方程提供了广泛应用的前景。

    Sep, 2023

  • 具有 ReLU、leaky ReLU 和 softplus 激活函数的深度神经网络在半线性偏微分方程空时解中可被证明地克服维数灾难

    使用深度学习方法中的深度神经网络（DNN）和修正线性单元（ReLU）、渗漏线性单元（leaky ReLU）或软正单元（softplus）激活函数，可以在无维数的空间 - 时间区域中以 Lp 意义逼近具有 Lipschitz 连续非线性性质的半线性热方程的解。

    Jun, 2024

  • 深度神经网络和参数化偏微分方程的理论分析

    本研究旨在通过利用解空间的低维特性，导出 ReLU 神经网络逼近参数化偏微分方程解映射复杂度的上界，具有较传统神经网络逼近结果更优的逼近速率。具体而言，在不了解具体形状的情况下，我们利用小型降维基解的存在性，构建了一些神经网络，以便大范围参数化偏微分方程可以提供这样的参数化解映射逼近，而这些网络的大小基本只取决于基解的大小。

    Mar, 2019

  • 使用深度 ReLU 神经网络对分段光滑函数进行最优逼近

    研究了在 $L^2$ 意义下逼近分类器函数所需的 ReLU 神经网络的深度和权重数量，构造了一类具有固定层数的人工神经网络，使用 ReLU 激活函数逼近可允许不连续的分段 $C^β$ 函数，权重数量为 $O (ε^{-(2 (d-1))/β})$，并证明这是最优的。此外，为了实现最优逼近率，需要具有一定深度的 ReLU 网络。最后，分析了在高维空间中使用特征映射和分类器函数逼近的情况。

    Sep, 2017

  • ReLU 深度神经网络的最优表达能力及其在科尔莫戈洛夫超级位置定理中的应用

    该研究论文探讨了 ReLU 深度神经网络的最佳表达能力及其在通过 Kolmogorov 叠加定理进行逼近方面的应用。研究通过构建性地证明了在 [0,1] 上，由 $O (N^2L)$ 个线性分段组成的连续分段线性函数可以通过具有 $L$ 隐藏层和每层 $N$ 个神经元的 ReLU 深度神经网络来表示。同时，通过研究 ReLU 深度神经网络的分形能力，证明了这种构建是最优的。此外，通过应用 Kolmogorov 叠加定理，在处理高维连续函数时，实现了具有任意宽度和深度的 ReLU 深度神经网络的改进逼近速度。

    Aug, 2023

  • 光滑函数的深度网络逼近

    本文研究了深度修正线性单元网络关于宽度和深度同时逼近平滑函数的最优逼近误差特性，并且证明了多元多项式可以被宽度为 O（N）和深度为 O（L）的深 ReLUNetwork 逼近，而且证明了具有 O（N lnN）宽度和 O（L lnL）深度的深 ReLUNetwork 能够用近乎最优的逼近误差逼近 f∈ C^s ([0,1]^d)。

    Jan, 2020

  • ReLU 浅层神经网络的逼近速度

    ReLU shallow neural networks can uniformly approximate functions from the H"older space with rates close to the optimal one in high dimensions.

    Jul, 2023

  • 关于 ReLU 网络的最优逼近速率及其宽度和深度的影响

    研究如何使用深层前馈神经网络以最优近似方式处理 Holder 连续函数和 Lipschitz 连续函数，并验证 ReLU 网络在宽度和深度上的优越性，同时得出近似速率达到最优的结论。

    Feb, 2021

  • ReLU$^k$ 激活的深度神经网络的表达能力和逼近特性

    通过使用 ReLU $^k$ 激活函数的深度神经网络，我们研究了其表达能力和逼近特性。我们的研究发现，深度 ReLU$^k$ 网络不仅有效逼近多项式，还能准确表示高次多项式。我们提供了全面而有建设性的证明，证明了深度 ReLU$^k$ 网络可以表示多项式。借此，我们得出了网络参数的上界，并证明了 Sobolev 空间和解析函数的子优逼近率。此外，通过研究深度 ReLU$^k$ 网络对浅层网络的表达能力，我们发现深度 ReLU$^k$ 网络能逼近多种变差空间中的函数，甚至超越了仅由 ReLU$^k$ 激活函数生成的变差空间。这一发现表明了深度 ReLU$^k$ 网络在逼近各种变差空间中的函数时的适应性。

    Dec, 2023

  • 浅层 ReLU$^k$ 神经网络的最优逼近速率及其在非参数回归中的应用

    研究了一些与浅层 ReLU$^k$ 神经网络相对应的变分空间的近似容量，证明了这些空间包含充分平滑的函数与有限变化范数。此外，还建立了以变化范数为基础的逼近率与神经元数量的最佳逼近率，并且证明了浅层 ReLU$^k$ 神经网络可以实现学习 H"older 函数的极小极值速率，而过参量化 (深或浅) 神经网络可以实现非参数回归的几乎最优速率。

    Apr, 2023