通过研究神经网络的一层隐藏层，我们发现所有在无穷远处趋于零的连续函数可以被具有渐近线性行为的非零连续激活函数的神经网络进行均匀逼近，并且我们确定了这些函数可被离散的 sigmoidal 函数的积的闭线性包所表示的代数结构。
Aug, 2023
本研究通过三个隐藏层和不断增强、连续、有界激活函数的神经网络提供了一种简单的方法来证明一种通用逼近定理。此结果相对于最佳结果较弱，但证明过程只使用了本科分析学的基础知识。
Jun, 2024
该论文证明了神经网络在宽度有限和深度任意的情况下的一些定理，进一步探讨了各种激活函数的影响。
May, 2019
本文讨论了使用无限维度神经网络进行非线性算子的普适逼近的问题，并证明了对于不同的无限维度神经网络，只要在拓扑上有些轻微的条件，就能近似地表示出任意连续算子，并提供了有限逼近无限神经网络所需的最小输入和输出单元的下界。
Oct, 2019
该论文扩展了普适逼近定理用于广泛的矢量值神经网络，包括各种超复数值模型作为特殊实例的概念，并在这些代数结构上阐述了普适逼近定理。
Jan, 2024
通过对神经网络的输入层和输出层进行修改，在保持其基本架构能力的同时，实现了任意连续函数在相应连续紧致集上的均一逼近能力。此研究同时发现当输入输出空间为 Cartan-Hadamard 流形时，常用的非欧几里得回归模型可扩充至通用的深度神经网络，并且该扩充同样应用在用于分层学习的双曲线正切前馈网络上。
Jun, 2020
研究了随机神经网络的普适逼近性质、Bochner 空间中的逼近速率和维度诅咒，以及与确定性神经网络的比较。
Dec, 2023
研究了深度神经网络与浅层网络的比较，发现对于大部分分段光滑函数，相对于浅层网络，深度神经网络可以使用更少的神经元来实现相同的函数逼近程度。
Oct, 2016
通过分析高度表达力模型的基本结构元素，我们引入了一个表达力类别的层次结构，将全局可近似性属性与无限 VC 维度的弱属性相连接，并证明了几个逐渐复杂的功能族的分类结果。特别地，我们介绍了一个通用的多项式 - 指数 - 代数功能族，经证明它受到了多项式约束。作为结果，我们表明具有不超过一层具有超越激活函数（如正弦或标准 sigmoid）的固定大小的神经网络通常无法近似任意有限集上的函数。另一方面，我们提供了包括两层隐藏层神经网络在内的函数族的示例，它们在任意有限集上可近似函数，但在整个定义域上却无法做到。
Nov, 2023
本文研究了一种新型的 RBF（径向基函数）神经网络，其中平滑因子被替换为位移，证明在激活函数具有一定条件下，这些网络能够逼近欧几里得空间中任何紧致子集上的任何连续多元函数。对于具有有限个固定中心的 RBF 网络，我们描述了保证任意精度逼近的条件。
Apr, 2023