Aug, 2024

通过拉东变换对Sobolev空间中浅层ReLU$^k$神经网络的近似率研究

HTML
PDF
TL;DR本文解决了浅层ReLU$^k$神经网络在Sobolev空间中如何高效近似的关键问题。作者利用拉东变换和差异理论的最新成果，提供了一种简单的证明，展示了在多种情况下几乎最佳的近似率，显示出这种网络在平滑性达到$s = k + (d+1)/2$时仍能获得最佳近似率，其结果显著推广了现有研究。
发现论文，激发创造
  • 在 $W^{s,p}$ 范数下使用深度 ReLU 神经网络进行逼近的误差界

    通过ReLU神经网络的微积分构建人工神经网络，我们分析了针对弱Sobolev范数的Sobolev正则函数的逼近速率。其次，我们为Sobolev正则函数的类建立了对于ReLU神经网络的逼近下界，并将结果拓展到应用于偏微分方程数值分析的最相关情景。

    Feb, 2019

  • 光滑函数的深度网络逼近

    本文研究了深度修正线性单元网络关于宽度和深度同时逼近平滑函数的最优逼近误差特性，并且证明了多元多项式可以被宽度为O（N）和深度为O（L）的深ReLUNetwork逼近，而且证明了具有O（N lnN）宽度和O（L lnL）深度的深ReLUNetwork能够用近乎最优的逼近误差逼近 f∈ C^s ([0,1]^d)。

    Jan, 2020

  • 人工神经网络逼近某些平滑有界函数类的必要深度，无须维数灾难

    本文研究了使用ReLU激活的浅层和深层人工神经网络的高维逼近能力，并且证明了使用深层ReLU人工神经网络可以解决简单逼近问题，而不能在多项式时间复杂度下使用浅层或不够深度的人工神经网络来解决。

    Jan, 2023

  • 浅层ReLU$^k$神经网络的最优逼近速率及其在非参数回归中的应用

    研究了一些与浅层ReLU$^k$神经网络相对应的变分空间的近似容量，证明了这些空间包含充分平滑的函数与有限变化范数。此外，还建立了以变化范数为基础的逼近率与神经元数量的最佳逼近率，并且证明了浅层ReLU$^k$神经网络可以实现学习H"older函数的极小极值速率，而过参量化(深或浅)神经网络可以实现非参数回归的几乎最优速率。

    Apr, 2023

  • ReLU 浅层神经网络的逼近速度

    ReLU shallow neural networks can uniformly approximate functions from the H"older space with rates close to the optimal one in high dimensions.

    Jul, 2023

  • 加权变差空间与浅层ReLU网络的逼近

    通过引入加权变分空间的概念，本文给出了在域中定义这些新模型类的更加恰当的定义。这些新模型类固有于域本身，并且与经典（与域无关）模型类相比更大，但仍然保持着相同的神经网络逼近速率。

    Jul, 2023

  • 对Sobolev范数关于Korobov函数的最优深度神经网络逼近

    该研究论文通过对Korobov函数应用深度神经网络（DNNs），建立了近乎最优的逼近速率，成功克服了维度灾难。通过$L_p$范数和$H^1$范数对逼近结果进行了测量。我们实现的逼近速率展现了非常优秀的“超收敛”速率，优于传统方法和任何连续函数逼近器。这些结果是非渐近的，同时考虑了网络的宽度和深度，给出了误差界限。

    Nov, 2023

  • ReLU$^k$激活的深度神经网络的表达能力和逼近特性

    通过使用ReLU $^k$激活函数的深度神经网络，我们研究了其表达能力和逼近特性。我们的研究发现，深度ReLU$^k$网络不仅有效逼近多项式，还能准确表示高次多项式。我们提供了全面而有建设性的证明，证明了深度ReLU$^k$网络可以表示多项式。借此，我们得出了网络参数的上界，并证明了Sobolev空间和解析函数的子优逼近率。此外，通过研究深度ReLU$^k$网络对浅层网络的表达能力，我们发现深度ReLU$^k$网络能逼近多种变差空间中的函数，甚至超越了仅由ReLU$^k$激活函数生成的变差空间。这一发现表明了深度ReLU$^k$网络在逼近各种变差空间中的函数时的适应性。

    Dec, 2023

  • 关于 Gevrey 类离散点奇异性的 ReLU^k 神经网络的指数表达能力

    该研究分析了具有点奇异性的平滑函数在有边界多面体域D中的深度神经网络仿真速率，证明了在Sobolev空间中，以神经元数量和非零系数数量为指标的指数级仿真速率，中间结果证明了具有ReLu和ReLu^2激活的神经网络能够精确模拟任意正则的多面体域D上具有高次多项式度p的连续分段多项式有限元，神经元数量和非零参数数量与有限元空间的自由度数成比例，特别适用于I.M. Babuška和B.Q. Guo的hp有限元方法。

    Mar, 2024

  • 使用深度ReLU神经网络对Sobolev和Besov函数的最优逼近

    本研究解决了如何使用深度ReLU神经网络有效逼近Sobolev和Besov空间函数的问题，填补了现有研究的空白。我们通过新的稀疏向量编码方法，将逼近率的理论推广至$\mathcal{O}((WL)^{-2s/d})$，并证明了这一结果在Sobolev嵌入条件下的最优性。该发现对网络设计及其在功能逼近中的应用具有重要影响。

    Sep, 2024