该篇论文调查了神经网络的近似性质，特别是使用 ReLU 激活函数的非线性流形，并比较了这种近似方法与传统数值分析中使用的近似方法之间的差异，着重分析了数值稳定性问题，发现在一定程度上提高了近似能力，但以数值稳定性为代价。

Dec, 2020

该论文扩展了普适逼近定理用于广泛的矢量值神经网络，包括各种超复数值模型作为特殊实例的概念，并在这些代数结构上阐述了普适逼近定理。

Jan, 2024

传统的人工神经网络训练方法无法系统地实现大数据的零错误率。一种新的训练方法包括三个步骤：首先从传统训练的参数创建一个辅助数据，其对应于克隆数据的损失函数的全局最小值；其次，创建辅助数据和原始数据的一个参数连续（混合）；第三，通过保持每次迭代的零错误训练率，从混合数据的辅助数据端到原始数据端迭代地训练模型。这种连续化方法通过将人工神经网络训练问题转换为训练参数空间中参数化变换的不动点的连续化问题，以动力系统中统一收缩映射定理来保证数值上的收敛。

Dec, 2023

通过研究神经网络的一层隐藏层，我们发现所有在无穷远处趋于零的连续函数可以被具有渐近线性行为的非零连续激活函数的神经网络进行均匀逼近，并且我们确定了这些函数可被离散的 sigmoidal 函数的积的闭线性包所表示的代数结构。

Aug, 2023

本文揭示了人工神经网络可用于数值逼近 Black-Scholes PDEs 的实际应用，并证明了它能够在高维函数逼近中克服 “维度灾难”。

Sep, 2018

人工神经网络（ANN）通过成功训练来解决任务后，学到的是训练项集还是它们之间的关系？在现代应用的 ANN 中，这个问题很难回答，因为其规模和复杂性巨大。因此，我们在这里考虑一个低维网络和一个简单任务，即网络必须完全复制一系列训练项。我们通过分析构建了解析解的解集家族，并使用标准的学习算法得到数值解。这些数值解根据优化算法和权重初始化的不同而不同，并且被证明是解析解解集的特定成员。在这个简单的设置中，我们观察到网络权重的一般结构表示训练集的对称群，即训练项之间的关系。因此，线性网络具有泛化能力，即可以复制不属于训练集但与训练集的对称性一致的项。相反，非线性网络倾向于学习各个训练项，并显示出联想记忆的特点。同时，它们的泛化能力有限。具有包含线性区域的激活函数（如 tanh）的网络具有更高程度的泛化能力。我们的结果表明，ANN 的泛化能力可以通过生成足够大的基本操作集来表示关系，并且它强烈依赖于应用的非线性特性而得到改善。

Apr, 2024

本文使用直接代数证明了通用逼近定理，进一步量化了逼近所需的隐层单元数，并且证明了在权重上施加限制下仍然保持均匀逼近性质。

Feb, 2020

本文讨论了使用无限维度神经网络进行非线性算子的普适逼近的问题，并证明了对于不同的无限维度神经网络，只要在拓扑上有些轻微的条件，就能近似地表示出任意连续算子，并提供了有限逼近无限神经网络所需的最小输入和输出单元的下界。

Oct, 2019

本文探讨了如何利用深度学习来研究神经健康以及在算法模型中解释神经分析的困难。其重要贡献在于调查死亡神经元对人工神经网络性能的影响，以评估这些发现在生物领域的潜在应用，可能对神经系统疾病的治疗有重要影响。

Jun, 2023

我们提出了多项式增强神经网络（PANNs），一种结合了深度神经网络（DNNs）和多项式逼近的新型机器学习架构。通过这些实验，我们证明了 PANNs 在回归和偏微分方程的数值解法上都比 DNNs 具有更好的逼近性能，同时在回归具有有限平滑性的函数时，也比多项式和基于 DNN 的回归方法具有更高的准确性。

Jun, 2024