探讨无界宽度的 ReLU 网络能够捕获什么样的函数，证明单隐层网络表示函数的最小网络范数，以及说明样本的最小范数拟合是通过线性样条插值实现的。

Feb, 2019

本文提出了适用于 ReLU 神经网络的 Banach 空间，其中包含了所有有限全连接 L 层网络及其 L^2 - 极限对象，具有低的 Rademacher 复杂性和良好的泛化特性，函数可以通过多层神经网络进行近似，收敛速率与维度无关。

Jul, 2020

利用路径范数和巴伦范数建立了适合于过参数化的两层神经网络的函数空间，并证明了度量熵和一般化界限方面的改进结果。

Apr, 2024

研究无穷宽度神经网络中的深度分离，该复杂性由权重的整体平方 L2 范数控制（网络中所有权重的平方和）。在以往的深度分离结果中，关注的是宽度方面的分离，这样的结果无法揭示深度是否决定了在网络宽度无限时是否可能学习出具有良好泛化性能的网络。本文研究以学习可行性所需的样本复杂性为标准的分离。具体来说，我们展示了通过由范数控制的深度为 3 的 ReLU 网络以多项式样本复杂度可学习的函数，而由范数控制的深度为 2 的 ReLU 网络无法通过次指数样本复杂度学习相同函数（对于任何范数值）。同时，我们还证明了在反向方向上不可能存在相似的陈述：通过具有无限宽度的范数控制的深度为 2 的 ReLU 网络以多项式样本复杂度可学习的任何函数也可以通过具有范数控制的深度为 3 的 ReLU 网络以多项式样本复杂度学习。

Feb, 2024

本研究通过实验对基于梯度下降的线性和 ReLU 网络的隐式正则化进行了探讨，并提供了卷积神经网络，$\ell_2$ 规范、归纳偏置、规范化器和梯度下降等方面的理论研究。

Feb, 2021

研究了 ReLU 激活的深度前馈神经网络的表达能力问题，得出结论：使用该网络结构可以以任意精度逼近任意 $d_{in}$ 维的连续实值函数，需要的最小宽度为 $d_{in}+1$，而一般深度和宽度都受限时，则只能表达并逼近有限的函数集。最后提出任何连续函数都可以通过宽度为 $d_{in}+d_{out}$ 的网络逼近，且该逼近的确切程度与函数的连续性有关。

Oct, 2017

本文主要研究具有 ReLU 激活和有限宽度的神经网络的深度表达能力，重点探讨了通过这种网络对连续函数进行逼近的最小宽度和所需深度的问题，最终得出了使用宽度为 $d+3$ 的 ReLU 网络可以以任意精度逼近 $d$ 维空间上的任意标量连续函数的深度估计结论。

Aug, 2017

通过 ReLU 神经网络，我们考虑了一类具有较小正则性假设的有界函数的逼近问题。我们展示了逼近误差可以由目标函数的均匀范数和网络宽度与深度的乘积的倒数来上界。我们从傅里叶特征残差网络中继承了这个逼近误差界，傅里叶特征残差网络是一种使用复指数激活函数的神经网络。我们的证明是具有建设性的，并通过对傅里叶特征残差网络逼近 ReLU 网络的复杂性分析进行。

May, 2024

本研究分析了使用修正线性单元（ReLU）作为激活函数的无限宽度、有限成本的浅层神经网络对连续分段线性函数的表示。通过积分表示，我们可以将浅层神经网络视为在适当的参数空间上的相应有限符号测度。我们将这些测度映射到参数空间上的测度，并将参数空间中的点双射映射到函数定义域中的超平面。我们证明了 Ongie 等人的一个猜想，即使用这种无限宽度神经网络可以表达的每一个连续分段线性函数都可以表达为有限宽度的浅层 ReLU 神经网络。

Jul, 2023

通过 ReLU 神经网络的微积分构建人工神经网络，我们分析了针对弱 Sobolev 范数的 Sobolev 正则函数的逼近速率。其次，我们为 Sobolev 正则函数的类建立了对于 ReLU 神经网络的逼近下界，并将结果拓展到应用于偏微分方程数值分析的最相关情景。

Feb, 2019