随机神经网络的通用逼近性质

Dec, 2023

Universal Approximation Property of Random Neural Networks

Ariel Neufeld, Philipp Schmocker

TL;DR研究了随机神经网络的普适逼近性质、Bochner 空间中的逼近速率和维度诅咒，以及与确定性神经网络的比较。

Abstract

In this paper, we study random neural networks which are single-hidden-layer feedforward neural networks whose weights and biases are randomly initialized. After this random initialization, only the linear readout needs to be trained, which can be performed efficiently, e.g., by the le

random neural networks universal approximation bochner spaces approximation rates curse of dimensionality

发现论文，激发创造

非紧致均匀普适逼近

通过研究神经网络的一层隐藏层，我们发现所有在无穷远处趋于零的连续函数可以被具有渐近线性行为的非零连续激活函数的神经网络进行均匀逼近，并且我们确定了这些函数可被离散的 sigmoidal 函数的积的闭线性包所表示的代数结构。

Aug, 2023

神经网络的近似能力探究

本文使用直接代数证明了通用逼近定理，进一步量化了逼近所需的隐层单元数，并且证明了在权重上施加限制下仍然保持均匀逼近性质。

Feb, 2020

神经网络的普适逼近和无限维映射逼近统一保证

本文讨论了使用无限维度神经网络进行非线性算子的普适逼近的问题，并证明了对于不同的无限维度神经网络，只要在拓扑上有些轻微的条件，就能近似地表示出任意连续算子，并提供了有限逼近无限神经网络所需的最小输入和输出单元的下界。

Oct, 2019

非欧几里德通用逼近

通过对神经网络的输入层和输出层进行修改，在保持其基本架构能力的同时，实现了任意连续函数在相应连续紧致集上的均一逼近能力。此研究同时发现当输入输出空间为 Cartan-Hadamard 流形时，常用的非欧几里得回归模型可扩充至通用的深度神经网络，并且该扩充同样应用在用于分层学习的双曲线正切前馈网络上。

Jun, 2020

向量和超复数值神经网络的普适逼近定理

该论文扩展了普适逼近定理用于广泛的矢量值神经网络，包括各种超复数值模型作为特殊实例的概念，并在这些代数结构上阐述了普适逼近定理。

Jan, 2024

关于径向基函数神经网络的普遍逼近性质

本文研究了一种新型的 RBF（径向基函数）神经网络，其中平滑因子被替换为位移，证明在激活函数具有一定条件下，这些网络能够逼近欧几里得空间中任何紧致子集上的任何连续多元函数。对于具有有限个固定中心的 RBF 网络，我们描述了保证任意精度逼近的条件。

Apr, 2023

神经网络逼近

该篇论文调查了神经网络的近似性质，特别是使用 ReLU 激活函数的非线性流形，并比较了这种近似方法与传统数值分析中使用的近似方法之间的差异，着重分析了数值稳定性问题，发现在一定程度上提高了近似能力，但以数值稳定性为代价。

Dec, 2020

多层随机特征和神经网络的逼近能力

神经网络架构、随机初始化权重、神经网络高斯过程核、再生核希尔伯特空间、逼近误差是该研究论文的关键词，论文提出了一种在无限宽度限制下具有随机初始化权重的神经网络架构，它等价于一个具有高斯随机场协方差函数的神经网络高斯过程核，同时证明了该神经网络架构可以逼近由该核定义的再生核希尔伯特空间中的函数。实验结果验证了该理论发现的可行性。

Apr, 2024

非度量空间中的神经网络

利用我们在 arXiv:2109.13512v4 提出的无限维神经网络架构，该架构可以处理来自 Frechet 空间的输入，并利用其中证明的通用逼近性质，我们现在通过证明一些普适逼近定理，大大扩展了该架构的适用范围，针对广泛类别的输入和输出空间。

Jun, 2024

普适逼近和拓扑神经网络

本文介绍了一种基于 Tychonoff 拓扑空间的拓扑神经网络和利用 Borel 测度作为数据的分布式神经网络，证明了它们的正确性，并说明了它们是深度学习中 deep sets 的一种一般化。

May, 2023