考虑常数精度下 Lipschitz 参数不随维度 d 变化时的 O (1) Lipschitz 径向函数问题，发现相比之前的研究，不存在深度为 2、规模为 poly (d) 的神经网络可近似表示该类函数，但当深度和规模限制任意一个为 poly (1/epsilon) 时，函数可被近似表示，两者的多项式依赖程度不能同时为多项式，表明要证明相应深度分离结果需要全新技术支持。

Apr, 2019

证明了在满足条件的情况下，当用深度为 2 和深度为 3 的神经网络来近似一个在 [0,1]^d 上与 Lipschitz 目标函数的 constant 精度相等的分布时，存在指数级的差距。

Feb, 2024

本文通过对深度分离结果的研究，在高维情况下，展示了某些函数可以通过两层神经网络高效近似，但是无法通过单层网络近似，在解决常见的一些函数中出现了限制，并提供了一些方法进行一层网络的高效近似。

Feb, 2021

研究发现，对于几乎所有已知的激活函数类型，存在简单的（大致上是径向的）函数在 $ eals^d$ 上，可由小型三层前馈神经网络表达，但无法用任何二层网络近似到特定常数精度以上，除非它的宽度在指数级别。此结果证明了深度比宽度对于标准前馈神经网络的提升，即使只增加了 1 层，其价值也可以是指数级别。此外，相比于布尔函数相关研究，该结果需要更少的假设，并且证明技巧和构造方法非常不同。

Dec, 2015

研究无穷宽度神经网络中的深度分离，该复杂性由权重的整体平方 L2 范数控制（网络中所有权重的平方和）。在以往的深度分离结果中，关注的是宽度方面的分离，这样的结果无法揭示深度是否决定了在网络宽度无限时是否可能学习出具有良好泛化性能的网络。本文研究以学习可行性所需的样本复杂性为标准的分离。具体来说，我们展示了通过由范数控制的深度为 3 的 ReLU 网络以多项式样本复杂度可学习的函数，而由范数控制的深度为 2 的 ReLU 网络无法通过次指数样本复杂度学习相同函数（对于任何范数值）。同时，我们还证明了在反向方向上不可能存在相似的陈述：通过具有无限宽度的范数控制的深度为 2 的 ReLU 网络以多项式样本复杂度可学习的任何函数也可以通过具有范数控制的深度为 3 的 ReLU 网络以多项式样本复杂度学习。

Feb, 2024

利用 ReLU 网络对可计算的具有多项式界的 Lipschitz 常数的函数进行逼近时，深度和大小如何影响其表达能力，深度越大亦或者规模越大准确度是否更高是研究中的主要难点，并探讨了相应的难题和所带来的挑战。我们的统计结果显示出了一些计算复杂性中的难点，同时也指出了一些可表示为具有布尔函数的形式，利用神经网络和阈值电路进行计算时具有线性的下界，这一研究也具有独立的意义。

Jan, 2021

我们研究了神经网络在逼近连续分布下基于 $L_2$ 范数、使用 ReLU 激活函数的最大函数时所需的大小，提供了对逼近所需宽度的新的上下界，建立了深度 2 和 3、深度 3 和 5 网络之间的新深度分界，并且通过在广泛使用的 max 函数上提供了深度 2 网络逼近最大函数所需神经元数量的紧密界限，与先前以特殊构建或病态函数和分布为基础的结果相比，我们的下界具有潜在的广泛应用价值。

Jul, 2023

本文提供了一些新的基于深度的前馈神经网络分离结果，证明了各种类型的简单自然函数可以更好地用深层网络逼近比更浅的更大的网络，这包括指示球和椭圆体的指示器，$L_1$ 范数下径向非线性函数，以及平滑的非线性函数。我们还展示了这些差距的实验观察结果：当训练神经网络学习一个单位球的指示器时，增加深度比增加宽度更容易收敛学习。

Oct, 2016

讨论了使用深度神经网络逼近函数的方法，构建了一个稀疏连接的深度 - 4 神经网络，并限定其在逼近函数方面的误差。我们的网络计算小波函数，这些小波函数是由修正线性单元（ReLU）计算得到的。

Sep, 2015

研究证明利用半代数节点的神经网络比常规 ReLU 节点的神经网络、带 ReLU 和最大化节点的卷积神经网络、乘积求和网络、以及提升的决策树，需要更少的层数和节点才能实现模拟函数。

Feb, 2016