关于径向基函数神经网络的普遍逼近性质

Apr, 2023

关于径向基函数神经网络的普遍逼近性质

On the universal approximation property of radial basis function neural networks

Aysu Ismayilova, Muhammad Ismayilov

TL;DR本文研究了一种新型的 RBF（径向基函数）神经网络，其中平滑因子被替换为位移，证明在激活函数具有一定条件下，这些网络能够逼近欧几里得空间中任何紧致子集上的任何连续多元函数。对于具有有限个固定中心的 RBF 网络，我们描述了保证任意精度逼近的条件。

Abstract

In this paper we consider a new class of RBF (Radial Basis Function) neural networks, in which smoothing factors are replaced with shifts. We prove under certain conditions on the →

rbf neural networks smoothing factors shifts activation function approximation

发现论文，激发创造

随机神经网络的通用逼近性质

研究了随机神经网络的普适逼近性质、Bochner 空间中的逼近速率和维度诅咒，以及与确定性神经网络的比较。

Dec, 2023

神经网络的近似能力探究

本文使用直接代数证明了通用逼近定理，进一步量化了逼近所需的隐层单元数，并且证明了在权重上施加限制下仍然保持均匀逼近性质。

Feb, 2020

非紧致均匀普适逼近

通过研究神经网络的一层隐藏层，我们发现所有在无穷远处趋于零的连续函数可以被具有渐近线性行为的非零连续激活函数的神经网络进行均匀逼近，并且我们确定了这些函数可被离散的 sigmoidal 函数的积的闭线性包所表示的代数结构。

Aug, 2023

用于高效神经网络训练的可证明数据子集选择

本文提出了构建 RBFNN 核心集的第一个算法，利用这些核心集以及梯度的逼近，可以提高深度神经网络训练的效率和准确性。

Mar, 2023

多层随机特征和神经网络的逼近能力

神经网络架构、随机初始化权重、神经网络高斯过程核、再生核希尔伯特空间、逼近误差是该研究论文的关键词，论文提出了一种在无限宽度限制下具有随机初始化权重的神经网络架构，它等价于一个具有高斯随机场协方差函数的神经网络高斯过程核，同时证明了该神经网络架构可以逼近由该核定义的再生核希尔伯特空间中的函数。实验结果验证了该理论发现的可行性。

Apr, 2024

通用浅层神经网络的维度无关界限

本文以一种抽象的定理为基础，证明了解决函数逼近中避免维数噪声以及用于流形学习的样本外推的逼近度的两个问题。作者建立了一种浅层网络和深度网络的模型来证明这个定理，并给出了应用案例。

Aug, 2019

带有无界激励函数的神经网络是一种通用的逼近器

通过 Fourier 分片定理、Radon 变换和 Parseval 关系，证明了带无界激活函数的神经网络仍然满足通用逼近性质，并且表明在反向传播后，Ridgelet 变换或 Radon 域中的反投影滤波器是神经网络学习到的内容。

May, 2015

深度神经网络的可证明近似性质

讨论了使用深度神经网络逼近函数的方法，构建了一个稀疏连接的深度 - 4 神经网络，并限定其在逼近函数方面的误差。我们的网络计算小波函数，这些小波函数是由修正线性单元（ReLU）计算得到的。

Sep, 2015

深窄网络的通用逼近性

该论文证明了神经网络在宽度有限和深度任意的情况下的一些定理，进一步探讨了各种激活函数的影响。

May, 2019

一种通用逼近定理的初等证明

本研究通过三个隐藏层和不断增强、连续、有界激活函数的神经网络提供了一种简单的方法来证明一种通用逼近定理。此结果相对于最佳结果较弱，但证明过程只使用了本科分析学的基础知识。

Jun, 2024