Sep, 2024

受限参数神经网络的数值逼近能力：是否存在限制，以及如何测量

HTML
PDF
TL;DR本研究探讨了受限参数神经网络的逼近能力，提出理论上虽然可以实现普遍逼近，但在实践中，受限的非线性参数会限制深度神经网络的逼近能力。通过引入$\epsilon$外测量和数值跨度维度（NSdim）等新概念，定量化了网络的逼近能力限制，并提供了对反向传播神经网络与随机参数网络之间关系的新理解。
发现论文，激发创造
  • 神经网络的表达能力：基于宽度的视角

    本文研究神经网络的宽度对其表达能力的影响，证明了width-$(n+4)$ ReLU神经网络是一种通用逼近器，同时存在一些无法用宽度为$n$的神经网络进行逼近的函数，表现出相变现象，结果展示了深度对ReLU网络的表达能力比宽度更为有效。

    Sep, 2017

  • 深度神经网络近似理论

    本文通过深度神经网络的Kolmogorov最优化来发展其基本极限，并阐述了深度网络对于不同函数类的Kolmogorov最优逼近性，其提供了指数级的逼近精度，并且在逼近足够光滑的函数时，相较于有限宽深网络，有限宽深层网络需要更小的连通性。

    Jan, 2019

  • 非线性逼近和（深层）ReLU网络

    该论文研究了深度神经网络的近似和表达能力，证明了神经网络在目标应用中比传统的非线性近似方法具有更强的近似能力，其中逼近单变量函数的 ReLU 神经网络是研究的重点，然而，尚缺乏一种完全定量化神经网络近似能力的理论。

    May, 2019

  • 深窄网络的通用逼近性

    该论文证明了神经网络在宽度有限和深度任意的情况下的一些定理，进一步探讨了各种激活函数的影响。

    May, 2019

  • 神经网络的普适逼近和无限维映射逼近统一保证

    本文讨论了使用无限维度神经网络进行非线性算子的普适逼近的问题，并证明了对于不同的无限维度神经网络，只要在拓扑上有些轻微的条件，就能近似地表示出任意连续算子，并提供了有限逼近无限神经网络所需的最小输入和输出单元的下界。

    Oct, 2019

  • 标准参数化神经网络的无限宽度极限

    本文提出了一种改进的标准参数化方法，可以正确地在无限宽度的情况下捕捉到有限宽度网络的训练动态，同时保持所有属性，包括神经切线核，实验表明这种参数化方法通常可以达到与NTK参数化类似的精度，但更好地对应典型有限宽度网络的参数化。

    Jan, 2020

  • 神经网络的近似能力探究

    本文使用直接代数证明了通用逼近定理，进一步量化了逼近所需的隐层单元数，并且证明了在权重上施加限制下仍然保持均匀逼近性质。

    Feb, 2020

  • 神经分类器无限宽度极限的一般理论探讨

    本文提出一个新的框架，将两种不同的神经网络极限理论联系起来，并证明在有限宽度的情况下，离散时间均场极限比常数核极限更有效。

    Mar, 2020

  • 近似最大值需要多少个神经元？

    我们研究了神经网络在逼近连续分布下基于$L_2$范数、使用ReLU激活函数的最大函数时所需的大小，提供了对逼近所需宽度的新的上下界，建立了深度2和3、深度3和5网络之间的新深度分界，并且通过在广泛使用的max函数上提供了深度2网络逼近最大函数所需神经元数量的紧密界限，与先前以特殊构建或病态函数和分布为基础的结果相比，我们的下界具有潜在的广泛应用价值。

    Jul, 2023

  • 关于超参数神经网络理论与实践之间的脱节

    通过对无限宽度极限进行实证研究，我们的结果表明：无限宽度极限理论不适用于实际的优化、不确定性量化和持续学习问题，进而对于无限宽度极限的实际相关性提出了质疑。

    Sep, 2023