该研究论文探讨了 ReLU 深度神经网络的最佳表达能力及其在通过 Kolmogorov 叠加定理进行逼近方面的应用。研究通过构建性地证明了在 [0,1] 上，由 $O (N^2L)$ 个线性分段组成的连续分段线性函数可以通过具有 $L$ 隐藏层和每层 $N$ 个神经元的 ReLU 深度神经网络来表示。同时，通过研究 ReLU 深度神经网络的分形能力，证明了这种构建是最优的。此外，通过应用 Kolmogorov 叠加定理，在处理高维连续函数时，实现了具有任意宽度和深度的 ReLU 深度神经网络的改进逼近速度。

Aug, 2023

研究一维 Lipschitz 函数的逼近中，深层 ReLU 网络比浅层网络更有效地逼近光滑函数，采用自适应深度 6 网络体系结构比标准浅层网络更有效。

Oct, 2016

通过 ReLU 神经网络的微积分构建人工神经网络，我们分析了针对弱 Sobolev 范数的 Sobolev 正则函数的逼近速率。其次，我们为 Sobolev 正则函数的类建立了对于 ReLU 神经网络的逼近下界，并将结果拓展到应用于偏微分方程数值分析的最相关情景。

Feb, 2019

通过 ReLU 神经网络，我们考虑了一类具有较小正则性假设的有界函数的逼近问题。我们展示了逼近误差可以由目标函数的均匀范数和网络宽度与深度的乘积的倒数来上界。我们从傅里叶特征残差网络中继承了这个逼近误差界，傅里叶特征残差网络是一种使用复指数激活函数的神经网络。我们的证明是具有建设性的，并通过对傅里叶特征残差网络逼近 ReLU 网络的复杂性分析进行。

May, 2024

研究了一些与浅层 ReLU$^k$ 神经网络相对应的变分空间的近似容量，证明了这些空间包含充分平滑的函数与有限变化范数。此外，还建立了以变化范数为基础的逼近率与神经元数量的最佳逼近率，并且证明了浅层 ReLU$^k$ 神经网络可以实现学习 H"older 函数的极小极值速率，而过参量化 (深或浅) 神经网络可以实现非参数回归的几乎最优速率。

Apr, 2023

本研究使用混合整数优化、多面体理论、热带几何等技术探究神经网络单隐藏层能否学习到所有函数的普适逼近定理，为可表示函数的类提供了数学支持。同时，解决了 Wang 和 Sun (2005) 关于分段线性函数的一项猜想，并提出了表示具有对数深度函数所需神经网络的上限。

May, 2021

本文研究了深度修正线性单元网络关于宽度和深度同时逼近平滑函数的最优逼近误差特性，并且证明了多元多项式可以被宽度为 O（N）和深度为 O（L）的深 ReLUNetwork 逼近，而且证明了具有 O（N lnN）宽度和 O（L lnL）深度的深 ReLUNetwork 能够用近乎最优的逼近误差逼近 f∈ C^s ([0,1]^d)。

Jan, 2020

通过使用 ReLU $^k$ 激活函数的深度神经网络，我们研究了其表达能力和逼近特性。我们的研究发现，深度 ReLU$^k$ 网络不仅有效逼近多项式，还能准确表示高次多项式。我们提供了全面而有建设性的证明，证明了深度 ReLU$^k$ 网络可以表示多项式。借此，我们得出了网络参数的上界，并证明了 Sobolev 空间和解析函数的子优逼近率。此外，通过研究深度 ReLU$^k$ 网络对浅层网络的表达能力，我们发现深度 ReLU$^k$ 网络能逼近多种变差空间中的函数，甚至超越了仅由 ReLU$^k$ 激活函数生成的变差空间。这一发现表明了深度 ReLU$^k$ 网络在逼近各种变差空间中的函数时的适应性。

Dec, 2023

本文研究了在低维多條件上 H"{o} lder 函数的非参数回归问题，并使用深层 ReLU 网络实现，研究结果表明深层 ReLU 网络具有适应低维几何结构的能力，可快速收敛于数据固有维度，进而解决高维数据的低维几何结构问题。

Aug, 2019

通过广泛且深度的 ReLU 神经网络在逻辑损失上进行训练，我们扩展 FL93 的结果并证明了其分类规则的普遍一致性；此外，我们给出了一类概率测度的充分条件，使得基于神经网络的分类器实现最小极小收敛速度。

Jan, 2024