本文通过利用神经网络和牛顿多面体之间的对偶性，基于 tropical geometry 理论，证明了单层 ReLU 神经网络所能表示的最大值函数类集合随着网络深度的增加而严格扩大，同时允许任意的宽度，且保证网络的权重为整型数。并且，通过对这些 Newton 多面体的归一化面积的奇偶性论证，表明需要层数 $log_2 (n) 向上取整 $ 才能计算 $n$ 个数字的最大值。

Feb, 2023

本文研究使用带有 ReLU 的深度神经网络能够代表的函数家族，提供了一个训练一个 ReLU 深度神经网络的一种算法，同时提高了在将 ReLU 神经网络函数逼近为浅层 ReLU 网络时已知下限的上界，并证明了这些间隙定理。

Nov, 2016

该论文证明了具有 $D$ ReLU 层的神经网络在平方损失下对某类函数的表示结果，证实了深度网络可以更好地表示不太光滑的函数，其主要技术创新是充分利用深层网络可以用少量激活函数产生高振荡函数的事实。

Jun, 2020

研究一维 Lipschitz 函数的逼近中，深层 ReLU 网络比浅层网络更有效地逼近光滑函数，采用自适应深度 6 网络体系结构比标准浅层网络更有效。

Oct, 2016

该研究借助 ReLU 挖掘深度学习的奥秘，以布尔函数为背景，考察了 ReLU 网络深度对模型大小的影响，并提出一种随机限制的方法来验证 LTF-OF-RELU 电路的最优性以及 ReLU 深度网络的难以压缩性，并展示出一种 Sum-of-ReLU-of-ReLU 函数实现的不可能性。

Nov, 2017

神经网络的可表达性特征对于理解其在人工智能中的成功至关重要。本研究调查了关于 ReLU 神经网络表达能力以及与最小深度的猜想的两个主题，主题包括求和和最大运算的最小深度表示，以及多面体神经网络的探索。对于求和运算，我们确定了操作数的最小深度的充分条件来找到运算的最小深度。相反，关于最大运算，我们给出了一系列综合性的示例，证明了不依赖于操作数深度的充分条件不能暗示运算的最小深度。本研究还考察了凸连续分段线性函数之间的最小深度关系。在多面体神经网络方面，我们研究了几个基本性质，推导出与 ReLU 网络等效的结果，例如深度的包含关系和从顶点计算深度。值得注意的是，我们计算了单纯形的最小深度，这与 ReLU 网络中的最小深度猜想有着密切关联。

Feb, 2024

研究了在 $L^2$ 意义下逼近分类器函数所需的 ReLU 神经网络的深度和权重数量，构造了一类具有固定层数的人工神经网络，使用 ReLU 激活函数逼近可允许不连续的分段 $C^β$ 函数，权重数量为 $O (ε^{-(2 (d-1))/β})$，并证明这是最优的。此外，为了实现最优逼近率，需要具有一定深度的 ReLU 网络。最后，分析了在高维空间中使用特征映射和分类器函数逼近的情况。

Sep, 2017

用浅层的 ReLU 神经网络近似表示分段线性函数与有限元函数之间的关系，并通过有限元函数分析 ReLU 神经网络在 $L^p$ 范数下的逼近能力，同时讨论了最近的张量神经网络在张量有限元函数的严格表示上的应用。

Mar, 2024

本文主要研究具有 ReLU 激活和有限宽度的神经网络的深度表达能力，重点探讨了通过这种网络对连续函数进行逼近的最小宽度和所需深度的问题，最终得出了使用宽度为 $d+3$ 的 ReLU 网络可以以任意精度逼近 $d$ 维空间上的任意标量连续函数的深度估计结论。

Aug, 2017

本研究分析了使用修正线性单元（ReLU）作为激活函数的无限宽度、有限成本的浅层神经网络对连续分段线性函数的表示。通过积分表示，我们可以将浅层神经网络视为在适当的参数空间上的相应有限符号测度。我们将这些测度映射到参数空间上的测度，并将参数空间中的点双射映射到函数定义域中的超平面。我们证明了 Ongie 等人的一个猜想，即使用这种无限宽度神经网络可以表达的每一个连续分段线性函数都可以表达为有限宽度的浅层 ReLU 神经网络。

Jul, 2023