Sep, 2023

ReLU 网络在紧致定义域上的全局逼近最小宽度

PDF
TL;DR本文研究了有界宽度网络的通用逼近性质，证明了使用 ReLU 等激活函数时，将输入空间为 [0,1]^{d_x} 的 $L^p$ 函数逼近到输出空间为 R^{d_y} 所需的最小宽度恰为 max {d_x, d_y, 2}。同时证明了对于激活函数和输入输出维度的普遍逼近，$L^p$ 逼近与均匀逼近存在形态分离。
universal approximationwidth-bounded networksactivation function$l^p$ functionsapproximation theorem
发现论文，激发创造
  • 通用逼近的最小宽度

    使用 ReLU 激活功能的网络的最小宽度是 $L^p$ 函数的普遍逼近所需的确切字符，是输入维度 $d_x+1$ 和输出维度 $d_y$ 的最大值。

    Jun, 2020

  • 神经网络通用逼近的最小宽度实现

    本论文探讨神经网络的最小宽度及其在紧致域中的 UAP，证明了 L^p-UAP 和 C-UAP 共享最小宽度的通用下界，且 L^p-UAP 的临界宽度可以通过使用 Leaky-ReLU 网络达到。

    Sep, 2022

  • Leaky-ReLU 神经网络均匀全局逼近的最小宽度

    本文研究神经网络的通用逼近性质，发现当网络的深度无限大时，其宽度需要不小于临界宽度以实现通用逼近性质；同时，我们提出了一种新颖的提升 - 流 - 离散化方法，探讨了通用逼近性质与拓扑理论之间的深层联系。

    May, 2023

  • 使用有界宽度和 ReLU 激活的深度神经网络实现通用函数逼近

    本文主要研究具有 ReLU 激活和有限宽度的神经网络的深度表达能力，重点探讨了通过这种网络对连续函数进行逼近的最小宽度和所需深度的问题，最终得出了使用宽度为 $d+3$ 的 ReLU 网络可以以任意精度逼近 $d$ 维空间上的任意标量连续函数的深度估计结论。

    Aug, 2017

  • 用最小宽度的 ReLU 网络逼近连续函数

    研究了 ReLU 激活的深度前馈神经网络的表达能力问题，得出结论：使用该网络结构可以以任意精度逼近任意 $d_{in}$ 维的连续实值函数，需要的最小宽度为 $d_{in}+1$，而一般深度和宽度都受限时，则只能表达并逼近有限的函数集。最后提出任何连续函数都可以通过宽度为 $d_{in}+d_{out}$ 的网络逼近，且该逼近的确切程度与函数的连续性有关。

    Oct, 2017

  • 关于 ReLU 网络的最优逼近速率及其宽度和深度的影响

    研究如何使用深层前馈神经网络以最优近似方式处理 Holder 连续函数和 Lipschitz 连续函数，并验证 ReLU 网络在宽度和深度上的优越性，同时得出近似速率达到最优的结论。

    Feb, 2021

  • 深窄网络的通用逼近性

    该论文证明了神经网络在宽度有限和深度任意的情况下的一些定理，进一步探讨了各种激活函数的影响。

    May, 2019

  • 光滑函数的深度网络逼近

    本文研究了深度修正线性单元网络关于宽度和深度同时逼近平滑函数的最优逼近误差特性，并且证明了多元多项式可以被宽度为 O（N）和深度为 O（L）的深 ReLUNetwork 逼近，而且证明了具有 O（N lnN）宽度和 O（L lnL）深度的深 ReLUNetwork 能够用近乎最优的逼近误差逼近 f∈ C^s ([0,1]^d)。

    Jan, 2020

  • ReLU 浅层神经网络的逼近速度

    ReLU shallow neural networks can uniformly approximate functions from the H"older space with rates close to the optimal one in high dimensions.

    Jul, 2023

  • 深度狭窄 MLP 的最小宽度：一种微分同胚和 Whitney 嵌入定理的方法

    我们提出了一个新的上界，通过最小宽度为 diffeomorphisms 和线性变换等嵌入来实现深度狭窄多层感知机的统一逼近。

    Aug, 2023