本文研究了有界宽度网络的通用逼近性质,证明了使用 ReLU 等激活函数时,将输入空间为 [0,1]^{d_x} 的 $L^p$ 函数逼近到输出空间为 R^{d_y} 所需的最小宽度恰为 max {d_x, d_y, 2}。同时证明了对于激活函数和输入输出维度的普遍逼近,$L^p$ 逼近与均匀逼近存在形态分离。
Sep, 2023
本论文探讨神经网络的最小宽度及其在紧致域中的 UAP,证明了 L^p-UAP 和 C-UAP 共享最小宽度的通用下界,且 L^p-UAP 的临界宽度可以通过使用 Leaky-ReLU 网络达到。
Sep, 2022
本文研究神经网络的通用逼近性质,发现当网络的深度无限大时,其宽度需要不小于临界宽度以实现通用逼近性质;同时,我们提出了一种新颖的提升 - 流 - 离散化方法,探讨了通用逼近性质与拓扑理论之间的深层联系。
May, 2023
本文主要研究具有 ReLU 激活和有限宽度的神经网络的深度表达能力,重点探讨了通过这种网络对连续函数进行逼近的最小宽度和所需深度的问题,最终得出了使用宽度为 $d+3$ 的 ReLU 网络可以以任意精度逼近 $d$ 维空间上的任意标量连续函数的深度估计结论。
Aug, 2017
该论文证明了神经网络在宽度有限和深度任意的情况下的一些定理,进一步探讨了各种激活函数的影响。
May, 2019
研究了 ReLU 激活的深度前馈神经网络的表达能力问题,得出结论:使用该网络结构可以以任意精度逼近任意 $d_{in}$ 维的连续实值函数,需要的最小宽度为 $d_{in}+1$,而一般深度和宽度都受限时,则只能表达并逼近有限的函数集。最后提出任何连续函数都可以通过宽度为 $d_{in}+d_{out}$ 的网络逼近,且该逼近的确切程度与函数的连续性有关。
Oct, 2017
研究如何使用深层前馈神经网络以最优近似方式处理 Holder 连续函数和 Lipschitz 连续函数,并验证 ReLU 网络在宽度和深度上的优越性,同时得出近似速率达到最优的结论。
Feb, 2021
本研究旨在探究深度神经网络的通用逼近性质与数据集拓扑特征之间的关系,并通过拓扑结构推导出限制网络宽度的上界。通过设计三层神经网络中的 ReLU 激活函数和最大池化操作,可以逼近一个由紧凑凸多面体包围的指示函数,同时拓展到单纯复合体,以拓扑空间的 Betti 数限制推导上界,并进一步证明了三层 ReLU 网络的通用逼近性质。
本文研究神经网络的宽度对其表达能力的影响,证明了 width-$(n+4)$ ReLU 神经网络是一种通用逼近器,同时存在一些无法用宽度为 $n$ 的神经网络进行逼近的函数,表现出相变现象,结果展示了深度对 ReLU 网络的表达能力比宽度更为有效。
Sep, 2017
本文研究了深度修正线性单元网络关于宽度和深度同时逼近平滑函数的最优逼近误差特性,并且证明了多元多项式可以被宽度为 O(N)和深度为 O(L)的深 ReLUNetwork 逼近,而且证明了具有 O(N lnN)宽度和 O(L lnL)深度的深 ReLUNetwork 能够用近乎最优的逼近误差逼近 f∈ C^s ([0,1]^d)。
Jan, 2020