本文使用直接代数证明了通用逼近定理,进一步量化了逼近所需的隐层单元数,并且证明了在权重上施加限制下仍然保持均匀逼近性质。
Feb, 2020
该论文证明了神经网络在宽度有限和深度任意的情况下的一些定理,进一步探讨了各种激活函数的影响。
May, 2019
通过研究神经网络的一层隐藏层,我们发现所有在无穷远处趋于零的连续函数可以被具有渐近线性行为的非零连续激活函数的神经网络进行均匀逼近,并且我们确定了这些函数可被离散的 sigmoidal 函数的积的闭线性包所表示的代数结构。
Aug, 2023
该论文扩展了普适逼近定理用于广泛的矢量值神经网络,包括各种超复数值模型作为特殊实例的概念,并在这些代数结构上阐述了普适逼近定理。
Jan, 2024
本研究旨在探究深度神经网络的通用逼近性质与数据集拓扑特征之间的关系,并通过拓扑结构推导出限制网络宽度的上界。通过设计三层神经网络中的 ReLU 激活函数和最大池化操作,可以逼近一个由紧凑凸多面体包围的指示函数,同时拓展到单纯复合体,以拓扑空间的 Betti 数限制推导上界,并进一步证明了三层 ReLU 网络的通用逼近性质。
May, 2023
本文讨论了使用无限维度神经网络进行非线性算子的普适逼近的问题,并证明了对于不同的无限维度神经网络,只要在拓扑上有些轻微的条件,就能近似地表示出任意连续算子,并提供了有限逼近无限神经网络所需的最小输入和输出单元的下界。
Oct, 2019
本文研究带有有限方向和阈值变化的单隐层神经网络的逼近性质,并且获得衡量该网络在连续函数空间中密度的充分必要条件。此外,我们针对特定构造的激活函数和固定数量的神经元证明了网络密度的结果。
Apr, 2023
本文证明了对于任何连续函数 f,都存在一个网络 n,使得 n 能够逼近 f 并在 n 中通过简单区间传播得到的在区间 B 上的输出结果能够任意接近 f 在 B 上的最优值。这个结果可视为针对间隔认证 ReLU 网络的通用逼近定理。据我们所知,这是首次证明存在准确的间隔认证网络。
Sep, 2019
研究了随机神经网络的普适逼近性质、Bochner 空间中的逼近速率和维度诅咒,以及与确定性神经网络的比较。
Dec, 2023
利用具有低 Lipschitz 常数的神经网络变体,证明了使用 FullSort 激活函数的三层神经网络是全范围 Lipschitz 函数逼近器(ULA),这为创建更好的有证明保证的机器学习模型铺平了道路。实验结果表明,ULA 不仅是一种新奇的方法,而且是提供有证明保障的分类器的一种有竞争力的方法。
Apr, 2019