研究证明利用半代数节点的神经网络比常规 ReLU 节点的神经网络、带 ReLU 和最大化节点的卷积神经网络、乘积求和网络、以及提升的决策树，需要更少的层数和节点才能实现模拟函数。

Feb, 2016

研究发现，对于几乎所有已知的激活函数类型，存在简单的（大致上是径向的）函数在 $ eals^d$ 上，可由小型三层前馈神经网络表达，但无法用任何二层网络近似到特定常数精度以上，除非它的宽度在指数级别。此结果证明了深度比宽度对于标准前馈神经网络的提升，即使只增加了 1 层，其价值也可以是指数级别。此外，相比于布尔函数相关研究，该结果需要更少的假设，并且证明技巧和构造方法非常不同。

Dec, 2015

本文研究了具有线性前突触耦合和整流线性激活的深度前馈网络的复杂性，并提供了一种比较深度和浅层模型的框架，该框架基于计算几何学中的分段线性函数。研究发现：即使当 $k$ 很小的时候，如果我们将 $n$ 限制为 $2n_0$，则深度模型具有比浅层模型更多的线性区域。

Dec, 2013

该研究表明，浅层前馈神经网络可以学习先前由深层网络学习的复杂函数，并且可以达到仅用深度模型可以实现的准确度，在 TIMIT 语音识别任务中，没有经过复杂设计的浅层神经网络能够表现类似于深度卷积网络，并且成功地训练浅层神经网络模仿更深层次模型的方法表明，可能存在比当前更好的训练浅层前馈网络的算法。

Dec, 2013

利用聚合函数表达的子函数描述构成的有向无环图，深度网络比浅层网络更好地逼近这些函数，因为深度网络可以被设计成具有相同的组合结构，而浅层网络无法利用这一知识，组合性的祝福缓解了维数灾难，而称为良好误差传播的定理允许通过选择适当的范数、平滑度等将有关浅层网络的定理推广到有关深层网络的定理。我们在三个环境中说明了这一点，其中每个通道在深层网络中计算球面多项式、非平滑 ReLU 网络或与 ReLU 网络密切相关的另一种区域函数网络。

May, 2019

本文回顾了最近关于层级神经网络结构的研究成果，探讨了深度卷积神经网络优于浅层神经网络在函数近似问题中的表现条件。本文提出了一个新的对于相对维度的定义，该定义可以被深层网络而非浅层网络使用以显著降低近似和学习所需的复杂度。同时，本文还宣布了关于当前神经网络中使用的非平滑激活函数 - ReLU 函数以及高斯网络的新结果。

Aug, 2016

本文证明了深度（分层）网络可以近似组合函数，其准确度与浅层网络相同，但训练参数以及 VC 维度指数级地减少，并定义了一般类可扩展和平移不变算法来证明深度卷积网络的简单和自然的一组要求。

Mar, 2016

证明深度神经网络可以有效逼近多元多项式，但当只有一个隐藏层时，所需的神经元数量呈指数级增长；另一方面，增加隐藏层数量从 1 到 k 时，所需的神经元数量的增长速度是随着 n^(1/k) 对数增长，暗示了实用的表达所需的最小层数仅对 n 进行对数级增长。

May, 2017

本文研究深度全连接网络从可近似角度看与其两层浅神经网络等价，表明其泛化能力在某些方面受限于核函数框架，提出一种基于核函数的特征值分析方法。

Sep, 2020

我们对用具有宽度 W、深度 l 和 Lipschitz 激活函数的前馈神经网络的输出来逼近某个 Banach 空间中的紧致子集的误差给出了下界估计。我们证明，除了神经网络，只有当深度 l 趋于无穷大时，才有可能得到比熵数更好的速率，而如果我们固定深度并使宽度 W 趋于无穷大则无法获益。

Oct, 2023