通过对神经网络的输入层和输出层进行修改，在保持其基本架构能力的同时，实现了任意连续函数在相应连续紧致集上的均一逼近能力。此研究同时发现当输入输出空间为 Cartan-Hadamard 流形时，常用的非欧几里得回归模型可扩充至通用的深度神经网络，并且该扩充同样应用在用于分层学习的双曲线正切前馈网络上。

Jun, 2020

本文提出了一种使用 Euclidean 空间作为基石建造弥合任意 Polish 度量空间之间连续映射的通用逼近方法，其中涉及到了离散概率、H"older-like (map) 以及深度学习 (transformer network) 等关键词。

Apr, 2023

本文讨论了使用无限维度神经网络进行非线性算子的普适逼近的问题，并证明了对于不同的无限维度神经网络，只要在拓扑上有些轻微的条件，就能近似地表示出任意连续算子，并提供了有限逼近无限神经网络所需的最小输入和输出单元的下界。

Oct, 2019

通过研究神经网络的一层隐藏层，我们发现所有在无穷远处趋于零的连续函数可以被具有渐近线性行为的非零连续激活函数的神经网络进行均匀逼近，并且我们确定了这些函数可被离散的 sigmoidal 函数的积的闭线性包所表示的代数结构。

Aug, 2023

研究了随机神经网络的普适逼近性质、Bochner 空间中的逼近速率和维度诅咒，以及与确定性神经网络的比较。

Dec, 2023

该论文将神经网络的密度证明扩展到在概率密度函数紧致集合中的连续函数，进而给出了树形结构域的通用逼近定理，在结构化数据处理中具有重要的实际应用，这是 AutoML 范例的一个很好的例子。

Jun, 2019

本文介绍了一种在可能是无限维的加权空间中定义的所谓功能输入神经网络，其值也可能在可能是无限维的输出空间中。通过在隐藏层映射中使用加性家族和应用于每个隐藏层的非线性激活函数，我们可以证明该模型具有全局通用逼近能力，适用于连续函数的一般化，超越紧致集上的通常逼近。这特别适用于通过功能性输入神经网络来近似（非先决性）路径空间函数。作为加权 Stone-Weierstrass 定理的进一步应用，我们证明了 signature 的线性函数具有全局通用逼近能力。我们还在该设置中介绍了 Gaussian 过程回归的视点，并表明 signature 核的再现核希尔伯特空间是某些 Gaussian 过程的 Cameron-Martin 空间，这为 signature 核回归的不确定性量化铺平了道路。

Jun, 2023

研究深度神经网络的表现力，将其复杂性衡量为连接数或神经元数，通过近似理论建立了逼近空间，研究 skip-connections 和非线性对逼近空间的影响，将其与 Besov 空间联系起来，发现如果深度足够，即使函数平滑度很低，也能够很好地通过神经网络逼近。

May, 2019

通过构建一类新的经过正则化操作与 $k$-plane 变换定义的 Banach 空间，并证明具有多元非线性的神经结构是这些 Banach 空间中学习问题解集的完全刻画，我们研究了一大类神经结构的变分最优性（具体而言指 Banach 空间的最优性）。这些最优的神经结构具有跳跃连接，与正交权重归一化和多索引模型紧密相关，这在神经网络领域引起了相当大的关注。此外，我们还展示了底层空间是再生核 Banach 空间和变分空间的特殊实例，并为神经网络在数据上学习的函数的正则性提供了新的理论动机，尤其是在具有多元非线性时，并提供了对实践中一些架构选择的新的理论动力。

Oct, 2023

本文使用直接代数证明了通用逼近定理，进一步量化了逼近所需的隐层单元数，并且证明了在权重上施加限制下仍然保持均匀逼近性质。

Feb, 2020