本论文探讨神经网络的最小宽度及其在紧致域中的 UAP，证明了 L^p-UAP 和 C-UAP 共享最小宽度的通用下界，且 L^p-UAP 的临界宽度可以通过使用 Leaky-ReLU 网络达到。

Sep, 2022

我们通过控制理论研究将深层残差神经网络作为连续动力系统的表达能力。具体而言，我们考虑从监督学习中产生的两个特性，即通用插值 - 能够匹配任意输入和目标训练样本，以及紧密相关的通用逼近 - 能够通过流映射逼近输入 - 目标函数关系。在控制结构变换族具有仿射不变性的假设下，我们给出了通用插值的表征，证明了非线性网络结构基本上都具备这一特性。此外，我们阐明了通用插值和通用逼近在一般控制系统背景下的关系，证明了这两个特性不能从彼此推导出来。同时，我们确定了控制结构和目标函数的条件，确保了这两个概念的等价性。

Sep, 2023

本文使用直接代数证明了通用逼近定理，进一步量化了逼近所需的隐层单元数，并且证明了在权重上施加限制下仍然保持均匀逼近性质。

Feb, 2020

通过对神经网络的输入层和输出层进行修改，在保持其基本架构能力的同时，实现了任意连续函数在相应连续紧致集上的均一逼近能力。此研究同时发现当输入输出空间为 Cartan-Hadamard 流形时，常用的非欧几里得回归模型可扩充至通用的深度神经网络，并且该扩充同样应用在用于分层学习的双曲线正切前馈网络上。

Jun, 2020

本文研究神经网络的通用逼近性质，发现当网络的深度无限大时，其宽度需要不小于临界宽度以实现通用逼近性质；同时，我们提出了一种新颖的提升 - 流 - 离散化方法，探讨了通用逼近性质与拓扑理论之间的深层联系。

May, 2023

通过研究神经网络的一层隐藏层，我们发现所有在无穷远处趋于零的连续函数可以被具有渐近线性行为的非零连续激活函数的神经网络进行均匀逼近，并且我们确定了这些函数可被离散的 sigmoidal 函数的积的闭线性包所表示的代数结构。

Aug, 2023

本文讨论了使用无限维度神经网络进行非线性算子的普适逼近的问题，并证明了对于不同的无限维度神经网络，只要在拓扑上有些轻微的条件，就能近似地表示出任意连续算子，并提供了有限逼近无限神经网络所需的最小输入和输出单元的下界。

Oct, 2019

本研究显示，采用具有修正线性单元作为激活函数的人工神经网络可以精确表示由线性时不变系统的模型预测控制的分段仿射函数。在神经网络中使用更深的网络具有特别的吸引力，因为它们可以表示比只有一个隐藏层的网络多指数个仿射区域。本研究提出了理论界限，用于决定一个神经网络必须具有的最小隐藏层数和每层神经元数，才能精确表示给定的模型预测控制规律。本方法具有成为预测控制规律的近似方法的强大潜力，可导致更好的近似质量和比以前的方法显著更小的内存需求，如模拟实例所示。我们还提出了不同的替代方案来校正或量化近似误差。由于在线评估神经网络非常简单，因此可以在存储容量较小的低功耗嵌入式设备上部署近似控制器，从而实现具有有限计算能力的复杂物理系统的先进决策制定策略。

Jun, 2018

用 ReLU 网络和随机生成的权重和偏置，在高概率下达到高于所需精度的近似，填补了关于神经网络控制中的近似性质的证明缺失。

Mar, 2024

该研究利用连续时间动力系统的方法，将深度残差网络理想化为动力系统，从逼近的角度研究其通用逼近性，并建立了新的近似理论，揭示了流映射逼近组合函数的新范例，促进了深度学习中有用的数学框架的建立。

Dec, 2019