深度的 ReLU 网络具有惊人地少的激活模式
本文研究神经网络的宽度对其表达能力的影响，证明了 width-$(n+4)$ ReLU 神经网络是一种通用逼近器，同时存在一些无法用宽度为 $n$ 的神经网络进行逼近的函数，表现出相变现象，结果展示了深度对 ReLU 网络的表达能力比宽度更为有效。
Sep, 2017
探讨神经网络的近似能力和表达能力，对 ReLU-networks 的 $L^p$-norms 进行了最优逼近，并提出了两个表达能力的框架，对于其他规范如 Sobolev norm $W^{1,1}$ 和不同的激活函数，提出了更多问题和探讨.
May, 2023
通过使用 ReLU $^k$ 激活函数的深度神经网络，我们研究了其表达能力和逼近特性。我们的研究发现，深度 ReLU$^k$ 网络不仅有效逼近多项式，还能准确表示高次多项式。我们提供了全面而有建设性的证明，证明了深度 ReLU$^k$ 网络可以表示多项式。借此，我们得出了网络参数的上界，并证明了 Sobolev 空间和解析函数的子优逼近率。此外，通过研究深度 ReLU$^k$ 网络对浅层网络的表达能力，我们发现深度 ReLU$^k$ 网络能逼近多种变差空间中的函数，甚至超越了仅由 ReLU$^k$ 激活函数生成的变差空间。这一发现表明了深度 ReLU$^k$ 网络在逼近各种变差空间中的函数时的适应性。
Dec, 2023
通过拓扑学的角度研究了 ReLU 神经网络在二分类问题中的表达能力。研究结果揭示，深层 ReLU 神经网络在拓扑简化方面远比浅层网络强大，这从数学上解释了为何深层网络更适用于处理复杂和拓扑丰富的数据集。
Oct, 2023
研究一维 Lipschitz 函数的逼近中，深层 ReLU 网络比浅层网络更有效地逼近光滑函数，采用自适应深度 6 网络体系结构比标准浅层网络更有效。
Oct, 2016
本文研究深度神经网络的表达能力，用 ReLU 卷积神经网络的线性区域数量来量化表达能力，并给出一层 ReLU 卷积神经网络的线性区域数量的上下界以及多层 ReLU 卷积神经网络的最大和平均线性区域数量，结果表明深度卷积神经网络比浅层卷积神经网络和全连接神经网络更具表达能力。
Jun, 2020
对于基于 ReLU 的深度神经网络，我们通过计算线性凸区域的数量，证明了任何一维输入都需要至少一定数量的神经元来表达。我们还发现对于相同的网络，复杂的输入会限制其表达线性区域的能力。此外，我们揭示了 ReLU 网络在训练过程中决策边界的迭代优化过程。我们希望本研究能够激发网络优化的努力，并有助于深度网络行为的探索和分析。
Oct, 2023
研究表明，修正线性单元（ReLU）不仅可以改善梯度消失问题、实现高效反向传播，且在学习参数方面具有稀疏性；本文则从表现力的角度探究了 ReLU 网络的决策边界，并实验证明两层 ReLU 网络的决策边界可以被阈值网络广泛捕捉，而后者可能需要一个指数级别的更多的隐藏单元。此外，本文还提出了系数条件，将符号网络表示为 ReLU 网络的隐藏单元数量可以倍减。最后，作者通过对一些合成数据进行实验比较了 ReLU 网络和阈值网络及它们较小的 ReLU 网络的学习能力。
Nov, 2015