Oct, 2023

深度 ReLU 网络和高阶有限元方法 II：切比雪夫模拟

PDF
TL;DR对于具有指定参数定义的深度 ReLU 神经网络（NN），本文讨论了其在 Sobolev 范数中的表达速率和稳定性，针对有限分区上的连续的分段多项式函数。我们通过 Chebyshev 多项式展开系数独特构建了 ReLU NN 的代理，这些系数可以通过在 Clenshaw-Curtis 点上函数的值使用逆快速傅里叶变换轻松计算得到。与基于 ReLU NN 模拟多项式的构造方法相比，本文获得了更优的表达速率和稳定性界限。所有模拟界限均明确以区间的分割、目标模拟精度和每个分割元素的多项式次数来表示。本文还针对在数值分析中常见的各种函数和范数提供了 ReLU NN 模拟误差估计，特别是对于具有点奇异性的解析函数展示了指数级的 ReLU 模拟速率界限，并发展了 Chebfun 逼近和构造性 ReLU NN 模拟之间的接口。
expression ratesstabilityrelu neural networkschebyshev polynomialemulation error estimates
发现论文，激发创造
  • 关于 Gevrey 类离散点奇异性的 ReLU^k 神经网络的指数表达能力

    该研究分析了具有点奇异性的平滑函数在有边界多面体域 D 中的深度神经网络仿真速率，证明了在 Sobolev 空间中，以神经元数量和非零系数数量为指标的指数级仿真速率，中间结果证明了具有 ReLu 和 ReLu^2 激活的神经网络能够精确模拟任意正则的多面体域 D 上具有高次多项式度 p 的连续分段多项式有限元，神经元数量和非零参数数量与有限元空间的自由度数成比例，特别适用于 I.M. Babuška 和 B.Q. Guo 的 hp 有限元方法。

    Mar, 2024

  • 在 $W^{s,p}$ 范数下使用深度 ReLU 神经网络进行逼近的误差界

    通过 ReLU 神经网络的微积分构建人工神经网络，我们分析了针对弱 Sobolev 范数的 Sobolev 正则函数的逼近速率。其次，我们为 Sobolev 正则函数的类建立了对于 ReLU 神经网络的逼近下界，并将结果拓展到应用于偏微分方程数值分析的最相关情景。

    Feb, 2019

  • 深度 ReLU 网络的逼近误差界

    研究一维 Lipschitz 函数的逼近中，深层 ReLU 网络比浅层网络更有效地逼近光滑函数，采用自适应深度 6 网络体系结构比标准浅层网络更有效。

    Oct, 2016

  • ChebNet: 基于切比雪夫逼近的修正幂单元深度神经网络的高效稳定构建

    本文探讨了如何构建基于 Chebyshev 多项式逼近的深度 RePU 神经网络，不仅理论上和利用幂级数逼近构建的 RePU 网络具有相同的上限误差界限，而且通过实验发现，ChebNets 比使用幂级数逼近的 RePU 网络更加稳定。

    Nov, 2019

  • 浅层 ReLU 神经网络与有限元方法

    用浅层的 ReLU 神经网络近似表示分段线性函数与有限元函数之间的关系，并通过有限元函数分析 ReLU 神经网络在 $L^p$ 范数下的逼近能力，同时讨论了最近的张量神经网络在张量有限元函数的严格表示上的应用。

    Mar, 2024

  • 奇点扰动的神经网络

    我们在简化的双曲线两点边界值问题的模型类别中，证明了解集的深度神经网络 (DNN) 表达能力率的上界，并给出了与奇异扰动参数一致的 Sobolev 范数上的表达能力上界。我们证明了各种 DNN 体系结构的表达能力率上界，包括 ReLU NN，spiking NN，$ anh$- 和 sigmoid-activated NN。后者激活函数可以显式地表示 “指数性边界层解特征”，在 DNN 的最后一层中，即在浅层子网络中，并具有更好的表达能力率上界。我们证明了所有 DNN 体系结构均允许在所谓的 “能量” 和 “平衡” Sobolev 范数中，对于解析输入数据进行强大的指数解表达能力。

    Jan, 2024

  • 高维偏微分方程的 DNN 表达率分析：期权定价应用

    该研究使用深度 ReLU 网络对 Kolmogorov 方程的一类多元解的逼近速度进行了分析，并应用于对欧式最大期权价格模型问题的求解，证明了高维解空间中的 PDE 解可以通过深度 ReLU 网络进行逼近，并提供了深层神经网络表达能力分析的技术。

    Sep, 2018

  • 深度神经网络与任意维度的任意阶有限元方法

    采用深度神经网络和 ReLU 激活函数，本研究证明能够在任意维度的分形网格上表示 Lagrange 有限元函数。通过引入基函数的新型全局公式，基于几何分解和高维分形网格及质心坐标函数的两个关键性质，该表示理论为这些深度神经网络的自然近似结果提供了便利。研究结果首次证明了深度神经网络如何系统地生成一般的连续分段多项式函数。

    Dec, 2023

  • ReLU$^k$ 激活的深度神经网络的表达能力和逼近特性

    通过使用 ReLU $^k$ 激活函数的深度神经网络，我们研究了其表达能力和逼近特性。我们的研究发现，深度 ReLU$^k$ 网络不仅有效逼近多项式，还能准确表示高次多项式。我们提供了全面而有建设性的证明，证明了深度 ReLU$^k$ 网络可以表示多项式。借此，我们得出了网络参数的上界，并证明了 Sobolev 空间和解析函数的子优逼近率。此外，通过研究深度 ReLU$^k$ 网络对浅层网络的表达能力，我们发现深度 ReLU$^k$ 网络能逼近多种变差空间中的函数，甚至超越了仅由 ReLU$^k$ 激活函数生成的变差空间。这一发现表明了深度 ReLU$^k$ 网络在逼近各种变差空间中的函数时的适应性。

    Dec, 2023

  • 使用深度 ReLU 神经网络对分段光滑函数进行最优逼近

    研究了在 $L^2$ 意义下逼近分类器函数所需的 ReLU 神经网络的深度和权重数量，构造了一类具有固定层数的人工神经网络，使用 ReLU 激活函数逼近可允许不连续的分段 $C^β$ 函数，权重数量为 $O (ε^{-(2 (d-1))/β})$，并证明这是最优的。此外，为了实现最优逼近率，需要具有一定深度的 ReLU 网络。最后，分析了在高维空间中使用特征映射和分类器函数逼近的情况。

    Sep, 2017