本文回顾了最近关于层级神经网络结构的研究成果，探讨了深度卷积神经网络优于浅层神经网络在函数近似问题中的表现条件。本文提出了一个新的对于相对维度的定义，该定义可以被深层网络而非浅层网络使用以显著降低近似和学习所需的复杂度。同时，本文还宣布了关于当前神经网络中使用的非平滑激活函数- ReLU函数以及高斯网络的新结果。

Aug, 2016

本文研究使用带有ReLU的深度神经网络能够代表的函数家族，提供了一个训练一个ReLU深度神经网络的一种算法，同时提高了在将ReLU神经网络函数逼近为浅层ReLU网络时已知下限的上界，并证明了这些间隙定理。

Nov, 2016

通过ReLU神经网络的微积分构建人工神经网络，我们分析了针对弱Sobolev范数的Sobolev正则函数的逼近速率。其次，我们为Sobolev正则函数的类建立了对于ReLU神经网络的逼近下界，并将结果拓展到应用于偏微分方程数值分析的最相关情景。

Feb, 2019

该论文研究了深度神经网络的近似和表达能力，证明了神经网络在目标应用中比传统的非线性近似方法具有更强的近似能力，其中逼近单变量函数的 ReLU 神经网络是研究的重点，然而，尚缺乏一种完全定量化神经网络近似能力的理论。

May, 2019

该研究研究了使用前馈神经网络逼近紧支持积分函数的问题，提出了一种新的拓扑构造方法，并证明了具有双线性池化层的ReLU前馈网络在这个拓扑结构中的普适性，同时得到了构造该网络所需的深度、宽度和双线性池化层数量的定量结果。此外，研究还表明在这个空间中，多项式回归器和解析前馈网络不具有普适性。

Apr, 2022

本文研究了使用ReLU激活的浅层和深层人工神经网络的高维逼近能力，并且证明了使用深层ReLU人工神经网络可以解决简单逼近问题，而不能在多项式时间复杂度下使用浅层或不够深度的人工神经网络来解决。

Jan, 2023

本文发现使用修正线性单元（ReLU）激活的深度神经网络（DNNs）可以近似表示一类高维连续函数，其参数数量与输入维度和近似误差的多项式规模相同，该类函数由多个特殊函数的组合表示，包括乘积，最大值和某些并行的Lipschitz连续函数。

Apr, 2023

本文研究深度神经网络对各种激活函数的表达能力，并证明可在任意有界集合上以稍大的常数精度近似任意激活函数的神经网络。

Jul, 2023

ReLU shallow neural networks can uniformly approximate functions from the H"older space with rates close to the optimal one in high dimensions.

Jul, 2023

通过使用ReLU $^k$激活函数的深度神经网络，我们研究了其表达能力和逼近特性。我们的研究发现，深度ReLU$^k$网络不仅有效逼近多项式，还能准确表示高次多项式。我们提供了全面而有建设性的证明，证明了深度ReLU$^k$网络可以表示多项式。借此，我们得出了网络参数的上界，并证明了Sobolev空间和解析函数的子优逼近率。此外，通过研究深度ReLU$^k$网络对浅层网络的表达能力，我们发现深度ReLU$^k$网络能逼近多种变差空间中的函数，甚至超越了仅由ReLU$^k$激活函数生成的变差空间。这一发现表明了深度ReLU$^k$网络在逼近各种变差空间中的函数时的适应性。

Dec, 2023