通过ReLU神经网络的微积分构建人工神经网络，我们分析了针对弱Sobolev范数的Sobolev正则函数的逼近速率。其次，我们为Sobolev正则函数的类建立了对于ReLU神经网络的逼近下界，并将结果拓展到应用于偏微分方程数值分析的最相关情景。

Feb, 2019

本文研究了深度修正线性单元网络关于宽度和深度同时逼近平滑函数的最优逼近误差特性，并且证明了多元多项式可以被宽度为O（N）和深度为O（L）的深ReLUNetwork逼近，而且证明了具有O（N lnN）宽度和O（L lnL）深度的深ReLUNetwork能够用近乎最优的逼近误差逼近 f∈ C^s ([0,1]^d)。

Jan, 2020

研究如何使用深层前馈神经网络以最优近似方式处理Holder连续函数和Lipschitz连续函数，并验证ReLU网络在宽度和深度上的优越性，同时得出近似速率达到最优的结论。

Feb, 2021

本文研究了使用ReLU激活的浅层和深层人工神经网络的高维逼近能力，并且证明了使用深层ReLU人工神经网络可以解决简单逼近问题，而不能在多项式时间复杂度下使用浅层或不够深度的人工神经网络来解决。

Jan, 2023

研究了一些与浅层ReLU$^k$神经网络相对应的变分空间的近似容量，证明了这些空间包含充分平滑的函数与有限变化范数。此外，还建立了以变化范数为基础的逼近率与神经元数量的最佳逼近率，并且证明了浅层ReLU$^k$神经网络可以实现学习H"older函数的极小极值速率，而过参量化(深或浅)神经网络可以实现非参数回归的几乎最优速率。

Apr, 2023

对于具有指定参数定义的深度ReLU神经网络（NN），本文讨论了其在Sobolev范数中的表达速率和稳定性，针对有限分区上的连续的分段多项式函数。我们通过Chebyshev多项式展开系数独特构建了ReLU NN的代理，这些系数可以通过在Clenshaw-Curtis点上函数的值使用逆快速傅里叶变换轻松计算得到。与基于ReLU NN模拟多项式的构造方法相比，本文获得了更优的表达速率和稳定性界限。所有模拟界限均明确以区间的分割、目标模拟精度和每个分割元素的多项式次数来表示。本文还针对在数值分析中常见的各种函数和范数提供了ReLU NN模拟误差估计，特别是对于具有点奇异性的解析函数展示了指数级的ReLU模拟速率界限，并发展了Chebfun逼近和构造性ReLU NN模拟之间的接口。

Oct, 2023

在这项研究中，我们探讨了在概率空间上定义的Sobolev平滑函数的数值逼近的挑战性问题。我们采用三种基于机器学习的方法，通过求解有限个最优传输问题和计算相应的Wasserstein潜势，使用Wasserstein Sobolev空间中的经验风险最小化和Tikhonov正则化，以及通过表征Tikhonov泛函的Euler-Lagrange方程的弱形式来解决这个问题。作为理论贡献，我们对每种解决方法的泛化误差提供了明确且定量的界限。在数值实现中，我们利用适当设计的神经网络作为基函数，经过多种方法的训练，使我们能够在训练后快速评估逼近函数。因此，我们的构造性解决方案在相同准确性下显著提高了评估速度，超过了现有方法数个数量级。

Oct, 2023

该研究论文通过对Korobov函数应用深度神经网络（DNNs），建立了近乎最优的逼近速率，成功克服了维度灾难。通过$L_p$范数和$H^1$范数对逼近结果进行了测量。我们实现的逼近速率展现了非常优秀的“超收敛”速率，优于传统方法和任何连续函数逼近器。这些结果是非渐近的，同时考虑了网络的宽度和深度，给出了误差界限。

Nov, 2023

通过使用ReLU $^k$激活函数的深度神经网络，我们研究了其表达能力和逼近特性。我们的研究发现，深度ReLU$^k$网络不仅有效逼近多项式，还能准确表示高次多项式。我们提供了全面而有建设性的证明，证明了深度ReLU$^k$网络可以表示多项式。借此，我们得出了网络参数的上界，并证明了Sobolev空间和解析函数的子优逼近率。此外，通过研究深度ReLU$^k$网络对浅层网络的表达能力，我们发现深度ReLU$^k$网络能逼近多种变差空间中的函数，甚至超越了仅由ReLU$^k$激活函数生成的变差空间。这一发现表明了深度ReLU$^k$网络在逼近各种变差空间中的函数时的适应性。

Dec, 2023

本文解决了浅层ReLU$^k$神经网络在Sobolev空间中如何高效近似的关键问题。作者利用拉东变换和差异理论的最新成果，提供了一种简单的证明，展示了在多种情况下几乎最佳的近似率，显示出这种网络在平滑性达到$s = k + (d+1)/2$时仍能获得最佳近似率，其结果显著推广了现有研究。

Aug, 2024