研究表明，修正线性单元（ReLU）不仅可以改善梯度消失问题、实现高效反向传播，且在学习参数方面具有稀疏性；本文则从表现力的角度探究了 ReLU 网络的决策边界，并实验证明两层 ReLU 网络的决策边界可以被阈值网络广泛捕捉，而后者可能需要一个指数级别的更多的隐藏单元。此外，本文还提出了系数条件，将符号网络表示为 ReLU 网络的隐藏单元数量可以倍减。最后，作者通过对一些合成数据进行实验比较了 ReLU 网络和阈值网络及它们较小的 ReLU 网络的学习能力。

Nov, 2015

探讨神经网络的近似能力和表达能力，对 ReLU-networks 的 $L^p$-norms 进行了最优逼近，并提出了两个表达能力的框架，对于其他规范如 Sobolev norm $W^{1,1}$ 和不同的激活函数，提出了更多问题和探讨.

May, 2023

本文研究神经网络的宽度对其表达能力的影响，证明了 width-$(n+4)$ ReLU 神经网络是一种通用逼近器，同时存在一些无法用宽度为 $n$ 的神经网络进行逼近的函数，表现出相变现象，结果展示了深度对 ReLU 网络的表达能力比宽度更为有效。

Sep, 2017

通过拓扑学的角度研究了 ReLU 神经网络在二分类问题中的表达能力。研究结果揭示，深层 ReLU 神经网络在拓扑简化方面远比浅层网络强大，这从数学上解释了为何深层网络更适用于处理复杂和拓扑丰富的数据集。

Oct, 2023

该研究论文探讨了 ReLU 深度神经网络的最佳表达能力及其在通过 Kolmogorov 叠加定理进行逼近方面的应用。研究通过构建性地证明了在 [0,1] 上，由 $O (N^2L)$ 个线性分段组成的连续分段线性函数可以通过具有 $L$ 隐藏层和每层 $N$ 个神经元的 ReLU 深度神经网络来表示。同时，通过研究 ReLU 深度神经网络的分形能力，证明了这种构建是最优的。此外，通过应用 Kolmogorov 叠加定理，在处理高维连续函数时，实现了具有任意宽度和深度的 ReLU 深度神经网络的改进逼近速度。

Aug, 2023

研究了 ReLU 网络的有限样本表达能力，证明了 3 层 ReLU 网络可以通过利用深度，并需要大约根号 N 个节点即可完美记忆大多数 N 个数据点，并证明大约根号 N 个节点是记忆 N 个数据点的必要和充分条件，同时证明当 W = Omega（N）时，L 层网络的带权参数可以记忆 N 个数据点。在全局位置假设下分析了负残差网络的记忆能力，并研究了随机梯度下降的动力学，证明了当在经验风险的记忆全局最小值附近初始化时，SGD 可以很快找到风险更小的附近点。

Oct, 2018

本文探究神经网络模型，证明了具有 sigmoid 或 ReLU 激活函数的过度参数化的模型在训练数据超过一定数量后，具有百分之百的记忆能力。

Jan, 2020

研究一维 Lipschitz 函数的逼近中，深层 ReLU 网络比浅层网络更有效地逼近光滑函数，采用自适应深度 6 网络体系结构比标准浅层网络更有效。

Oct, 2016

本研究探讨了前向 ReLU 神经网络的记忆能力，发现使用大约 O (sqrt (N)) 个参数可以记忆任何满足一定可分性假设的 N 个点。我们还提出了一个更一般化的构造，可以使用更少的大约 N/L 个参数记忆 N 个样本，其中 1≤L≤sqrt (N)。我们的构造使用具有大位复杂度的权重，证明了这种大位复杂度对于用一个次线性数量参数进行记忆既是必要的又是充分的。

Oct, 2021

该论文研究了深度神经网络的近似和表达能力，证明了神经网络在目标应用中比传统的非线性近似方法具有更强的近似能力，其中逼近单变量函数的 ReLU 神经网络是研究的重点，然而，尚缺乏一种完全定量化神经网络近似能力的理论。

May, 2019