本文提供了一些新的基于深度的前馈神经网络分离结果，证明了各种类型的简单自然函数可以更好地用深层网络逼近比更浅的更大的网络，这包括指示球和椭圆体的指示器，$L_1$范数下径向非线性函数，以及平滑的非线性函数。我们还展示了这些差距的实验观察结果：当训练神经网络学习一个单位球的指示器时，增加深度比增加宽度更容易收敛学习。

Oct, 2016

本文研究神经网络的宽度对其表达能力的影响，证明了width-$(n+4)$ ReLU神经网络是一种通用逼近器，同时存在一些无法用宽度为$n$的神经网络进行逼近的函数，表现出相变现象，结果展示了深度对ReLU网络的表达能力比宽度更为有效。

Sep, 2017

通过ReLU神经网络的微积分构建人工神经网络，我们分析了针对弱Sobolev范数的Sobolev正则函数的逼近速率。其次，我们为Sobolev正则函数的类建立了对于ReLU神经网络的逼近下界，并将结果拓展到应用于偏微分方程数值分析的最相关情景。

Feb, 2019

通过Kolmogorov - Arnold叠加定理的建设性证明以及外部叠加函数可以通过深度ReLU网络有效逼近的一些多元连续函数的子集，我们证明了关于深度ReLU网络逼近多元函数的定理，其中降低了维度诅咒。

Jun, 2019

本文研究了深度修正线性单元网络关于宽度和深度同时逼近平滑函数的最优逼近误差特性，并且证明了多元多项式可以被宽度为O（N）和深度为O（L）的深ReLUNetwork逼近，而且证明了具有O（N lnN）宽度和O（L lnL）深度的深ReLUNetwork能够用近乎最优的逼近误差逼近 f∈ C^s ([0,1]^d)。

Jan, 2020

研究如何使用深层前馈神经网络以最优近似方式处理Holder连续函数和Lipschitz连续函数，并验证ReLU网络在宽度和深度上的优越性，同时得出近似速率达到最优的结论。

Feb, 2021

探讨神经网络的近似能力和表达能力, 对 ReLU-networks 的 $L^p$-norms 进行了最优逼近, 并提出了两个表达能力的框架, 对于其他规范如 Sobolev norm $W^{1,1}$ 和不同的激活函数, 提出了更多问题和探讨.

May, 2023

通过使用ReLU $^k$激活函数的深度神经网络，我们研究了其表达能力和逼近特性。我们的研究发现，深度ReLU$^k$网络不仅有效逼近多项式，还能准确表示高次多项式。我们提供了全面而有建设性的证明，证明了深度ReLU$^k$网络可以表示多项式。借此，我们得出了网络参数的上界，并证明了Sobolev空间和解析函数的子优逼近率。此外，通过研究深度ReLU$^k$网络对浅层网络的表达能力，我们发现深度ReLU$^k$网络能逼近多种变差空间中的函数，甚至超越了仅由ReLU$^k$激活函数生成的变差空间。这一发现表明了深度ReLU$^k$网络在逼近各种变差空间中的函数时的适应性。

Dec, 2023

通过ReLU神经网络，我们考虑了一类具有较小正则性假设的有界函数的逼近问题。我们展示了逼近误差可以由目标函数的均匀范数和网络宽度与深度的乘积的倒数来上界。我们从傅里叶特征残差网络中继承了这个逼近误差界，傅里叶特征残差网络是一种使用复指数激活函数的神经网络。我们的证明是具有建设性的，并通过对傅里叶特征残差网络逼近ReLU网络的复杂性分析进行。

May, 2024

对于具有最先进的逼近误差的ReLU结构，本研究的主要结果是其实现参数的增长至多是多项式的，与现有结果相比，在大多数情况下，特别是对于高维输入，该增长率优于现有结果。

Jun, 2024