通过ReLU神经网络的微积分构建人工神经网络，我们分析了针对弱Sobolev范数的Sobolev正则函数的逼近速率。其次，我们为Sobolev正则函数的类建立了对于ReLU神经网络的逼近下界，并将结果拓展到应用于偏微分方程数值分析的最相关情景。

Feb, 2019

本研究提出采用组合形式的字典和采用ReLU前馈神经网络的方法来进行非线性逼近，并比较单层、双层和三层组合字典的最佳$N$项逼近率，并表明较宽的神经网络层数较少的字典在 H"older 连续函数逼近方面相对于较窄深度的字典具有更高的计算效率。

Feb, 2019

本文研究了深度修正线性单元网络关于宽度和深度同时逼近平滑函数的最优逼近误差特性，并且证明了多元多项式可以被宽度为O（N）和深度为O（L）的深ReLUNetwork逼近，而且证明了具有O（N lnN）宽度和O（L lnL）深度的深ReLUNetwork能够用近乎最优的逼近误差逼近 f∈ C^s ([0,1]^d)。

Jan, 2020

本文研究了使用ReLU激活的浅层和深层人工神经网络的高维逼近能力，并且证明了使用深层ReLU人工神经网络可以解决简单逼近问题，而不能在多项式时间复杂度下使用浅层或不够深度的人工神经网络来解决。

Jan, 2023

研究了一些与浅层ReLU$^k$神经网络相对应的变分空间的近似容量，证明了这些空间包含充分平滑的函数与有限变化范数。此外，还建立了以变化范数为基础的逼近率与神经元数量的最佳逼近率，并且证明了浅层ReLU$^k$神经网络可以实现学习H"older函数的极小极值速率，而过参量化(深或浅)神经网络可以实现非参数回归的几乎最优速率。

Apr, 2023

本文研究了与ReLU激活函数相关的功能深度神经网络的逼近能力，并在简单三角剖分下构建了连续分段线性插值。此外，还建立了所提出的功能深度ReLU网络的逼近速率，并在温和的正则条件下进行了分析，最终探究了功能数据学习算法的理解。

Apr, 2023

本文发现使用修正线性单元（ReLU）激活的深度神经网络（DNNs）可以近似表示一类高维连续函数，其参数数量与输入维度和近似误差的多项式规模相同，该类函数由多个特殊函数的组合表示，包括乘积，最大值和某些并行的Lipschitz连续函数。

Apr, 2023

探讨神经网络的近似能力和表达能力, 对 ReLU-networks 的 $L^p$-norms 进行了最优逼近, 并提出了两个表达能力的框架, 对于其他规范如 Sobolev norm $W^{1,1}$ 和不同的激活函数, 提出了更多问题和探讨.

May, 2023

通过使用ReLU $^k$激活函数的深度神经网络，我们研究了其表达能力和逼近特性。我们的研究发现，深度ReLU$^k$网络不仅有效逼近多项式，还能准确表示高次多项式。我们提供了全面而有建设性的证明，证明了深度ReLU$^k$网络可以表示多项式。借此，我们得出了网络参数的上界，并证明了Sobolev空间和解析函数的子优逼近率。此外，通过研究深度ReLU$^k$网络对浅层网络的表达能力，我们发现深度ReLU$^k$网络能逼近多种变差空间中的函数，甚至超越了仅由ReLU$^k$激活函数生成的变差空间。这一发现表明了深度ReLU$^k$网络在逼近各种变差空间中的函数时的适应性。

Dec, 2023

对于具有最先进的逼近误差的ReLU结构，本研究的主要结果是其实现参数的增长至多是多项式的，与现有结果相比，在大多数情况下，特别是对于高维输入，该增长率优于现有结果。

Jun, 2024