Dec, 2023

ReLU$^k$激活的深度神经网络的表达能力和逼近特性

HTML
PDF
TL;DR通过使用ReLU $^k$激活函数的深度神经网络，我们研究了其表达能力和逼近特性。我们的研究发现，深度ReLU$^k$网络不仅有效逼近多项式，还能准确表示高次多项式。我们提供了全面而有建设性的证明，证明了深度ReLU$^k$网络可以表示多项式。借此，我们得出了网络参数的上界，并证明了Sobolev空间和解析函数的子优逼近率。此外，通过研究深度ReLU$^k$网络对浅层网络的表达能力，我们发现深度ReLU$^k$网络能逼近多种变差空间中的函数，甚至超越了仅由ReLU$^k$激活函数生成的变差空间。这一发现表明了深度ReLU$^k$网络在逼近各种变差空间中的函数时的适应性。
发现论文，激发创造
  • 深度ReLU网络的逼近误差界

    研究一维Lipschitz函数的逼近中，深层ReLU网络比浅层网络更有效地逼近光滑函数，采用自适应深度6网络体系结构比标准浅层网络更有效。

    Oct, 2016

  • 在 $W^{s,p}$ 范数下使用深度 ReLU 神经网络进行逼近的误差界

    通过ReLU神经网络的微积分构建人工神经网络，我们分析了针对弱Sobolev范数的Sobolev正则函数的逼近速率。其次，我们为Sobolev正则函数的类建立了对于ReLU神经网络的逼近下界，并将结果拓展到应用于偏微分方程数值分析的最相关情景。

    Feb, 2019

  • 非线性逼近和（深层）ReLU网络

    该论文研究了深度神经网络的近似和表达能力，证明了神经网络在目标应用中比传统的非线性近似方法具有更强的近似能力，其中逼近单变量函数的 ReLU 神经网络是研究的重点，然而，尚缺乏一种完全定量化神经网络近似能力的理论。

    May, 2019

  • 光滑函数的深度网络逼近

    本文研究了深度修正线性单元网络关于宽度和深度同时逼近平滑函数的最优逼近误差特性，并且证明了多元多项式可以被宽度为O（N）和深度为O（L）的深ReLUNetwork逼近，而且证明了具有O（N lnN）宽度和O（L lnL）深度的深ReLUNetwork能够用近乎最优的逼近误差逼近 f∈ C^s ([0,1]^d)。

    Jan, 2020

  • 人工神经网络逼近某些平滑有界函数类的必要深度，无须维数灾难

    本文研究了使用ReLU激活的浅层和深层人工神经网络的高维逼近能力，并且证明了使用深层ReLU人工神经网络可以解决简单逼近问题，而不能在多项式时间复杂度下使用浅层或不够深度的人工神经网络来解决。

    Jan, 2023

  • 使用深层 ReLU 网络近似非线性泛函

    本文研究了与ReLU激活函数相关的功能深度神经网络的逼近能力，并在简单三角剖分下构建了连续分段线性插值。此外，还建立了所提出的功能深度ReLU网络的逼近速率，并在温和的正则条件下进行了分析，最终探究了功能数据学习算法的理解。

    Apr, 2023

  • 神经网络的表达能力

    探讨神经网络的近似能力和表达能力, 对 ReLU-networks 的 $L^p$-norms 进行了最优逼近, 并提出了两个表达能力的框架, 对于其他规范如 Sobolev norm $W^{1,1}$ 和不同的激活函数, 提出了更多问题和探讨.

    May, 2023

  • 深度网络近似：超越ReLU，使用多样激活函数

    本文研究深度神经网络对各种激活函数的表达能力，并证明可在任意有界集合上以稍大的常数精度近似任意激活函数的神经网络。

    Jul, 2023

  • ReLU深度神经网络的最优表达能力及其在科尔莫戈洛夫超级位置定理中的应用

    该研究论文探讨了ReLU深度神经网络的最佳表达能力及其在通过Kolmogorov叠加定理进行逼近方面的应用。研究通过构建性地证明了在[0,1]上，由$O(N^2L)$个线性分段组成的连续分段线性函数可以通过具有$L$隐藏层和每层$N$个神经元的ReLU深度神经网络来表示。同时，通过研究ReLU深度神经网络的分形能力，证明了这种构建是最优的。此外，通过应用Kolmogorov叠加定理，在处理高维连续函数时，实现了具有任意宽度和深度的ReLU深度神经网络的改进逼近速度。

    Aug, 2023

  • ReLU网络在低正则函数空间中的逼近误差和复杂度界

    通过ReLU神经网络，我们考虑了一类具有较小正则性假设的有界函数的逼近问题。我们展示了逼近误差可以由目标函数的均匀范数和网络宽度与深度的乘积的倒数来上界。我们从傅里叶特征残差网络中继承了这个逼近误差界，傅里叶特征残差网络是一种使用复指数激活函数的神经网络。我们的证明是具有建设性的，并通过对傅里叶特征残差网络逼近ReLU网络的复杂性分析进行。

    May, 2024