对 Sobolev 范数关于 Korobov 函数的最优深度神经网络逼近

Nov, 2023

对 Sobolev 范数关于 Korobov 函数的最优深度神经网络逼近

Optimal Deep Neural Network Approximation for Korobov Functions with respect to Sobolev Norms

Yahong Yang, Yulong Lu

TL;DR该研究论文通过对 Korobov 函数应用深度神经网络（DNNs），建立了近乎最优的逼近速率，成功克服了维度灾难。通过 $L_p$ 范数和 $H^1$ 范数对逼近结果进行了测量。我们实现的逼近速率展现了非常优秀的 “超收敛” 速率，优于传统方法和任何连续函数逼近器。这些结果是非渐近的，同时考虑了网络的宽度和深度，给出了误差界限。

Abstract

This paper establishes the nearly optimal rate of approximation for deep neural networks (DNNs) when applied to korobov functions, effectively overcoming the curse of dimensionality. The approximation results presented in this paper are measured with respect to $L_p$ norms and $H^1$ no

deep neural networks korobov functions approximation rate error bounds super-convergence

发现论文，激发创造

深度神经网络近似理论

本文通过深度神经网络的 Kolmogorov 最优化来发展其基本极限，并阐述了深度网络对于不同函数类的 Kolmogorov 最优逼近性，其提供了指数级的逼近精度，并且在逼近足够光滑的函数时，相较于有限宽深网络，有限宽深层网络需要更小的连通性。

Jan, 2019

在 $W^{s,p}$ 范数下使用深度 ReLU 神经网络进行逼近的误差界

通过 ReLU 神经网络的微积分构建人工神经网络，我们分析了针对弱 Sobolev 范数的 Sobolev 正则函数的逼近速率。其次，我们为 Sobolev 正则函数的类建立了对于 ReLU 神经网络的逼近下界，并将结果拓展到应用于偏微分方程数值分析的最相关情景。

Feb, 2019

稀疏连接深度神经网络的最优逼近

本文提出了深度神经网络的可连接性和内存需求的基本下限，同时证明了其实现方式适用于广泛的函数类。此外，研究表明，广义仿射系统内的全局极优逼近问题可以通过神经网络得到最优解，并通过数值实验验证了随机梯度下降算法能够学习出近乎最优的函数逼近。

May, 2017

深度卷积神经网络的最优逼近和学习速率

这篇论文研究了带有零填充和最大池化的深度卷积神经网络的逼近和学习性能分析，证明了对于逼近 r 次平滑函数，深度 L 的卷积神经网络的逼近速率在 (L^2 / 对数 L)^(-2r/d) 的数量级上，是最优的。此外，我们推导了在深度卷积神经网络上实现经验风险最小化的几乎最优学习速率。

Aug, 2023

浅层 ReLU$^k$ 神经网络的最优逼近速率及其在非参数回归中的应用

研究了一些与浅层 ReLU$^k$ 神经网络相对应的变分空间的近似容量，证明了这些空间包含充分平滑的函数与有限变化范数。此外，还建立了以变化范数为基础的逼近率与神经元数量的最佳逼近率，并且证明了浅层 ReLU$^k$ 神经网络可以实现学习 H"older 函数的极小极值速率，而过参量化 (深或浅) 神经网络可以实现非参数回归的几乎最优速率。

Apr, 2023

神经网络深度证明在具有恒定扩散和非线性漂移系数的 Kolmogorov 偏微分方程数值逼近中克服了维度灾难

这篇论文揭示了深度人工神经网络在 Kolmogorov PDEs 数值逼近中克服了维数灾难的现象。我们证明了所用 DNN 模型的参数数量在 PDE 维数 d 和逼近精度的倒数 ε 的倒数中，最多呈多项式增长。

Sep, 2018

深度神经网络的可证明近似性质

讨论了使用深度神经网络逼近函数的方法，构建了一个稀疏连接的深度 - 4 神经网络，并限定其在逼近函数方面的误差。我们的网络计算小波函数，这些小波函数是由修正线性单元（ReLU）计算得到的。

Sep, 2015

利用 Kolmogorov-Arnold 叠加定理为深度 ReLU 网络提供误差界限

通过 Kolmogorov - Arnold 叠加定理的建设性证明以及外部叠加函数可以通过深度 ReLU 网络有效逼近的一些多元连续函数的子集，我们证明了关于深度 ReLU 网络逼近多元函数的定理，其中降低了维度诅咒。

Jun, 2019

神经网络的 Sobolev 训练

这篇论文介绍了一种名为 Sobolev Training 的神经网络训练方法，可以在优化神经网络输出的同时优化其导数，从而提高学习函数近似的效果，并取得了在三个不同领域的实证结果。

Jun, 2017

深度神经网络导数的近似最优 VC 维度和伪维度上界

本研究解决了深度神经网络导函数的最优 Vapnik-Chervonenkis 维度（VC-dimension）和伪维度估计的问题，并将其应用于机器学习方法中涉及函数导数的损失函数的学习误差估计，从而填补了包括物理为基础的机器学习模型和应用程序（例如生成模型、解决偏微分方程、操作学习、网络压缩、提取、正则化等）的学习误差估计的空白。

May, 2023