研究发现，对于几乎所有已知的激活函数类型，存在简单的（大致上是径向的）函数在 $ eals^d$ 上，可由小型三层前馈神经网络表达，但无法用任何二层网络近似到特定常数精度以上，除非它的宽度在指数级别。此结果证明了深度比宽度对于标准前馈神经网络的提升，即使只增加了 1 层，其价值也可以是指数级别。此外，相比于布尔函数相关研究，该结果需要更少的假设，并且证明技巧和构造方法非常不同。

Dec, 2015

利用聚合函数表达的子函数描述构成的有向无环图，深度网络比浅层网络更好地逼近这些函数，因为深度网络可以被设计成具有相同的组合结构，而浅层网络无法利用这一知识，组合性的祝福缓解了维数灾难，而称为良好误差传播的定理允许通过选择适当的范数、平滑度等将有关浅层网络的定理推广到有关深层网络的定理。我们在三个环境中说明了这一点，其中每个通道在深层网络中计算球面多项式、非平滑 ReLU 网络或与 ReLU 网络密切相关的另一种区域函数网络。

May, 2019

研究了深度神经网络与浅层网络的比较，发现对于大部分分段光滑函数，相对于浅层网络，深度神经网络可以使用更少的神经元来实现相同的函数逼近程度。

Oct, 2016

利用 ReLU 网络对可计算的具有多项式界的 Lipschitz 常数的函数进行逼近时，深度和大小如何影响其表达能力，深度越大亦或者规模越大准确度是否更高是研究中的主要难点，并探讨了相应的难题和所带来的挑战。我们的统计结果显示出了一些计算复杂性中的难点，同时也指出了一些可表示为具有布尔函数的形式，利用神经网络和阈值电路进行计算时具有线性的下界，这一研究也具有独立的意义。

Jan, 2021

本文回顾了最近关于层级神经网络结构的研究成果，探讨了深度卷积神经网络优于浅层神经网络在函数近似问题中的表现条件。本文提出了一个新的对于相对维度的定义，该定义可以被深层网络而非浅层网络使用以显著降低近似和学习所需的复杂度。同时，本文还宣布了关于当前神经网络中使用的非平滑激活函数 - ReLU 函数以及高斯网络的新结果。

Aug, 2016

该研究通过深度学习理论，探讨神经网络因其深度、宽度和激活单元类型的表现力，并通过动态系统中的一般固定点概念，获得了针对 ReLU 网络的深度分离结果。作者进一步提供了更强的 $L^1$- 逼近误差下的特定于期的宽度下界和更尖锐的宽度下界，并揭示了给定函数的周期、Lipschitz 常数和自我组成的振荡数量的增长率之间更紧密的连接。

Mar, 2020

本文主要研究具有 ReLU 激活和有限宽度的神经网络的深度表达能力，重点探讨了通过这种网络对连续函数进行逼近的最小宽度和所需深度的问题，最终得出了使用宽度为 $d+3$ 的 ReLU 网络可以以任意精度逼近 $d$ 维空间上的任意标量连续函数的深度估计结论。

Aug, 2017

我们对用具有宽度 W、深度 l 和 Lipschitz 激活函数的前馈神经网络的输出来逼近某个 Banach 空间中的紧致子集的误差给出了下界估计。我们证明，除了神经网络，只有当深度 l 趋于无穷大时，才有可能得到比熵数更好的速率，而如果我们固定深度并使宽度 W 趋于无穷大则无法获益。

Oct, 2023

讨论了使用深度神经网络逼近函数的方法，构建了一个稀疏连接的深度 - 4 神经网络，并限定其在逼近函数方面的误差。我们的网络计算小波函数，这些小波函数是由修正线性单元（ReLU）计算得到的。

Sep, 2015

本文研究了深度修正线性单元网络关于宽度和深度同时逼近平滑函数的最优逼近误差特性，并且证明了多元多项式可以被宽度为 O（N）和深度为 O（L）的深 ReLUNetwork 逼近，而且证明了具有 O（N lnN）宽度和 O（L lnL）深度的深 ReLUNetwork 能够用近乎最优的逼近误差逼近 f∈ C^s ([0,1]^d)。

Jan, 2020