该论文证明了神经网络在宽度有限和深度任意的情况下的一些定理，进一步探讨了各种激活函数的影响。

May, 2019

通过研究神经网络的一层隐藏层，我们发现所有在无穷远处趋于零的连续函数可以被具有渐近线性行为的非零连续激活函数的神经网络进行均匀逼近，并且我们确定了这些函数可被离散的 sigmoidal 函数的积的闭线性包所表示的代数结构。

Aug, 2023

本文使用直接代数证明了通用逼近定理，进一步量化了逼近所需的隐层单元数，并且证明了在权重上施加限制下仍然保持均匀逼近性质。

Feb, 2020

本论文探讨神经网络的最小宽度及其在紧致域中的 UAP，证明了 L^p-UAP 和 C-UAP 共享最小宽度的通用下界，且 L^p-UAP 的临界宽度可以通过使用 Leaky-ReLU 网络达到。

Sep, 2022

本文主要研究具有 ReLU 激活和有限宽度的神经网络的深度表达能力，重点探讨了通过这种网络对连续函数进行逼近的最小宽度和所需深度的问题，最终得出了使用宽度为 $d+3$ 的 ReLU 网络可以以任意精度逼近 $d$ 维空间上的任意标量连续函数的深度估计结论。

Aug, 2017

该论文扩展了普适逼近定理用于广泛的矢量值神经网络，包括各种超复数值模型作为特殊实例的概念，并在这些代数结构上阐述了普适逼近定理。

Jan, 2024

通过分析高度表达力模型的基本结构元素，我们引入了一个表达力类别的层次结构，将全局可近似性属性与无限 VC 维度的弱属性相连接，并证明了几个逐渐复杂的功能族的分类结果。特别地，我们介绍了一个通用的多项式 - 指数 - 代数功能族，经证明它受到了多项式约束。作为结果，我们表明具有不超过一层具有超越激活函数（如正弦或标准 sigmoid）的固定大小的神经网络通常无法近似任意有限集上的函数。另一方面，我们提供了包括两层隐藏层神经网络在内的函数族的示例，它们在任意有限集上可近似函数，但在整个定义域上却无法做到。

Nov, 2023

使用 ReLU 激活功能的网络的最小宽度是 $L^p$ 函数的普遍逼近所需的确切字符，是输入维度 $d_x+1$ 和输出维度 $d_y$ 的最大值。

Jun, 2020

探讨神经网络的近似能力和表达能力，对 ReLU-networks 的 $L^p$-norms 进行了最优逼近，并提出了两个表达能力的框架，对于其他规范如 Sobolev norm $W^{1,1}$ 和不同的激活函数，提出了更多问题和探讨.

May, 2023

通过 Fourier 分片定理、Radon 变换和 Parseval 关系，证明了带无界激活函数的神经网络仍然满足通用逼近性质，并且表明在反向传播后，Ridgelet 变换或 Radon 域中的反投影滤波器是神经网络学习到的内容。

May, 2015