在 $W^{s,p}$ 范数下使用深度 ReLU 神经网络进行逼近的误差界
该论文研究了深度神经网络的近似和表达能力，证明了神经网络在目标应用中比传统的非线性近似方法具有更强的近似能力，其中逼近单变量函数的 ReLU 神经网络是研究的重点，然而，尚缺乏一种完全定量化神经网络近似能力的理论。
May, 2019
本文研究了深度修正线性单元网络关于宽度和深度同时逼近平滑函数的最优逼近误差特性，并且证明了多元多项式可以被宽度为O（N）和深度为O（L）的深ReLUNetwork逼近，而且证明了具有O（N lnN）宽度和O（L lnL）深度的深ReLUNetwork能够用近乎最优的逼近误差逼近 f∈ C^s ([0,1]^d)。
Jan, 2020
本文研究了使用ReLU激活的浅层和深层人工神经网络的高维逼近能力，并且证明了使用深层ReLU人工神经网络可以解决简单逼近问题，而不能在多项式时间复杂度下使用浅层或不够深度的人工神经网络来解决。
Jan, 2023
对于具有指定参数定义的深度ReLU神经网络（NN），本文讨论了其在Sobolev范数中的表达速率和稳定性，针对有限分区上的连续的分段多项式函数。我们通过Chebyshev多项式展开系数独特构建了ReLU NN的代理，这些系数可以通过在Clenshaw-Curtis点上函数的值使用逆快速傅里叶变换轻松计算得到。与基于ReLU NN模拟多项式的构造方法相比，本文获得了更优的表达速率和稳定性界限。所有模拟界限均明确以区间的分割、目标模拟精度和每个分割元素的多项式次数来表示。本文还针对在数值分析中常见的各种函数和范数提供了ReLU NN模拟误差估计，特别是对于具有点奇异性的解析函数展示了指数级的ReLU模拟速率界限，并发展了Chebfun逼近和构造性ReLU NN模拟之间的接口。
Oct, 2023
该研究论文通过对Korobov函数应用深度神经网络（DNNs），建立了近乎最优的逼近速率，成功克服了维度灾难。通过$L_p$范数和$H^1$范数对逼近结果进行了测量。我们实现的逼近速率展现了非常优秀的“超收敛”速率，优于传统方法和任何连续函数逼近器。这些结果是非渐近的，同时考虑了网络的宽度和深度，给出了误差界限。
Nov, 2023
通过使用ReLU $^k$激活函数的深度神经网络，我们研究了其表达能力和逼近特性。我们的研究发现，深度ReLU$^k$网络不仅有效逼近多项式，还能准确表示高次多项式。我们提供了全面而有建设性的证明，证明了深度ReLU$^k$网络可以表示多项式。借此，我们得出了网络参数的上界，并证明了Sobolev空间和解析函数的子优逼近率。此外，通过研究深度ReLU$^k$网络对浅层网络的表达能力，我们发现深度ReLU$^k$网络能逼近多种变差空间中的函数，甚至超越了仅由ReLU$^k$激活函数生成的变差空间。这一发现表明了深度ReLU$^k$网络在逼近各种变差空间中的函数时的适应性。
Dec, 2023
通过ReLU神经网络，我们考虑了一类具有较小正则性假设的有界函数的逼近问题。我们展示了逼近误差可以由目标函数的均匀范数和网络宽度与深度的乘积的倒数来上界。我们从傅里叶特征残差网络中继承了这个逼近误差界，傅里叶特征残差网络是一种使用复指数激活函数的神经网络。我们的证明是具有建设性的，并通过对傅里叶特征残差网络逼近ReLU网络的复杂性分析进行。
May, 2024
本文解决了浅层ReLU$^k$神经网络在Sobolev空间中如何高效近似的关键问题。作者利用拉东变换和差异理论的最新成果，提供了一种简单的证明，展示了在多种情况下几乎最佳的近似率，显示出这种网络在平滑性达到$s = k + (d+1)/2$时仍能获得最佳近似率，其结果显著推广了现有研究。
Aug, 2024
本研究解决了如何使用深度ReLU神经网络有效逼近Sobolev和Besov空间函数的问题，填补了现有研究的空白。我们通过新的稀疏向量编码方法，将逼近率的理论推广至$\mathcal{O}((WL)^{-2s/d})$，并证明了这一结果在Sobolev嵌入条件下的最优性。该发现对网络设计及其在功能逼近中的应用具有重要影响。
Sep, 2024