神经网络的普适逼近和无限维映射逼近统一保证

Oct, 2019

神经网络的普适逼近和无限维映射逼近统一保证

On Universal Approximation by Neural Networks with Uniform Guarantees on Approximation of Infinite Dimensional Maps

William H. Guss, Ruslan Salakhutdinov

TL;DR本文讨论了使用无限维度神经网络进行非线性算子的普适逼近的问题，并证明了对于不同的无限维度神经网络，只要在拓扑上有些轻微的条件，就能近似地表示出任意连续算子，并提供了有限逼近无限神经网络所需的最小输入和输出单元的下界。

Abstract

The study of universal approximation of arbitrary functions $f: \mathcal{X} \to \mathcal{Y}$ by neural networks has a rich and thorough history dating back to Kolmogorov (1957). In the case of learning finite dim

neural networks infinite dimensional universal approximation nonlinear operators topological conditions

发现论文，激发创造

神经网络的近似能力探究

本文使用直接代数证明了通用逼近定理，进一步量化了逼近所需的隐层单元数，并且证明了在权重上施加限制下仍然保持均匀逼近性质。

Feb, 2020

非紧致均匀普适逼近

通过研究神经网络的一层隐藏层，我们发现所有在无穷远处趋于零的连续函数可以被具有渐近线性行为的非零连续激活函数的神经网络进行均匀逼近，并且我们确定了这些函数可被离散的 sigmoidal 函数的积的闭线性包所表示的代数结构。

Aug, 2023

非欧几里德通用逼近

通过对神经网络的输入层和输出层进行修改，在保持其基本架构能力的同时，实现了任意连续函数在相应连续紧致集上的均一逼近能力。此研究同时发现当输入输出空间为 Cartan-Hadamard 流形时，常用的非欧几里得回归模型可扩充至通用的深度神经网络，并且该扩充同样应用在用于分层学习的双曲线正切前馈网络上。

Jun, 2020

向量和超复数值神经网络的普适逼近定理

该论文扩展了普适逼近定理用于广泛的矢量值神经网络，包括各种超复数值模型作为特殊实例的概念，并在这些代数结构上阐述了普适逼近定理。

Jan, 2024

随机神经网络的通用逼近性质

研究了随机神经网络的普适逼近性质、Bochner 空间中的逼近速率和维度诅咒，以及与确定性神经网络的比较。

Dec, 2023

深窄网络的通用逼近性

该论文证明了神经网络在宽度有限和深度任意的情况下的一些定理，进一步探讨了各种激活函数的影响。

May, 2019

非度量空间中的神经网络

利用我们在 arXiv:2109.13512v4 提出的无限维神经网络架构，该架构可以处理来自 Frechet 空间的输入，并利用其中证明的通用逼近性质，我们现在通过证明一些普适逼近定理，大大扩展了该架构的适用范围，针对广泛类别的输入和输出空间。