本文研究神经网络的通用逼近性质，发现当网络的深度无限大时，其宽度需要不小于临界宽度以实现通用逼近性质；同时，我们提出了一种新颖的提升 - 流 - 离散化方法，探讨了通用逼近性质与拓扑理论之间的深层联系。

May, 2023

使用 ReLU 激活功能的网络的最小宽度是 $L^p$ 函数的普遍逼近所需的确切字符，是输入维度 $d_x+1$ 和输出维度 $d_y$ 的最大值。

Jun, 2020

本文研究了有界宽度网络的通用逼近性质，证明了使用 ReLU 等激活函数时，将输入空间为 [0,1]^{d_x} 的 $L^p$ 函数逼近到输出空间为 R^{d_y} 所需的最小宽度恰为 max {d_x, d_y, 2}。同时证明了对于激活函数和输入输出维度的普遍逼近，$L^p$ 逼近与均匀逼近存在形态分离。

Sep, 2023

本文主要研究具有 ReLU 激活和有限宽度的神经网络的深度表达能力，重点探讨了通过这种网络对连续函数进行逼近的最小宽度和所需深度的问题，最终得出了使用宽度为 $d+3$ 的 ReLU 网络可以以任意精度逼近 $d$ 维空间上的任意标量连续函数的深度估计结论。

Aug, 2017

该论文证明了神经网络在宽度有限和深度任意的情况下的一些定理，进一步探讨了各种激活函数的影响。

May, 2019

本文使用直接代数证明了通用逼近定理，进一步量化了逼近所需的隐层单元数，并且证明了在权重上施加限制下仍然保持均匀逼近性质。

Feb, 2020

通过证明参数矩阵、线性向量和 ReLU 激活函数这个控制组合能够统一逼近定义域在任意紧致区域的微分同胚，我们揭示了神经网络的逼近能力与控制系统之间的关联。

Dec, 2023

探讨神经网络的近似能力和表达能力，对 ReLU-networks 的 $L^p$-norms 进行了最优逼近，并提出了两个表达能力的框架，对于其他规范如 Sobolev norm $W^{1,1}$ 和不同的激活函数，提出了更多问题和探讨.

May, 2023

研究了 ReLU 激活的深度前馈神经网络的表达能力问题，得出结论：使用该网络结构可以以任意精度逼近任意 $d_{in}$ 维的连续实值函数，需要的最小宽度为 $d_{in}+1$，而一般深度和宽度都受限时，则只能表达并逼近有限的函数集。最后提出任何连续函数都可以通过宽度为 $d_{in}+d_{out}$ 的网络逼近，且该逼近的确切程度与函数的连续性有关。

Oct, 2017

本研究旨在探究深度神经网络的通用逼近性质与数据集拓扑特征之间的关系，并通过拓扑结构推导出限制网络宽度的上界。通过设计三层神经网络中的 ReLU 激活函数和最大池化操作，可以逼近一个由紧凑凸多面体包围的指示函数，同时拓展到单纯复合体，以拓扑空间的 Betti 数限制推导上界，并进一步证明了三层 ReLU 网络的通用逼近性质。

May, 2023