非线性电阻网络的通用逼近定理
为了能够实现高效能的人工智能系统，电阻网络作为传统基于 GPU 的神经网络的替代方法备受关注。这些网络利用电路的物理性质进行推理，并可以通过平衡传播等本地训练技术进行优化。尽管电阻网络在功耗方面具有潜在优势，但高效模拟这些网络的挑战一直是评估其可扩展性的重要瓶颈。我们提出了一种基于理想电路元件的非线性电阻网络模拟方法，将其构建为带有线性不等式约束的二次规划问题，并使用快速、准确的坐标下降算法进行求解。我们的模拟方法在性能上远远超过现有基于 SPICE 的模拟方法，使得可以进行规模更大、速度更快的网络训练，网络尺寸与时代持续时间的比值提高了 50,000 倍。我们的方法可适用于其他电气元件，有望在非线性电路网络模拟方面推动更快的进展。
Feb, 2024
讨论了具有循环神经网络（RNN）作为储层的储层系统的近似能力。在问题设置中，储层系统通过调整其线性读出量来近似一组函数，而储层保持固定。我们将展示一类 RNN 储层系统的统一强普适性，用于近似某类函数。这意味着，对于任意正数，我们可以构建一个足够大的 RNN 储层系统，其对于待近似函数类中每个函数的近似误差都有一个上界。这种 RNN 储层系统是通过 RNN 储层的并行级联构造的。
Mar, 2024
通过研究神经网络的一层隐藏层，我们发现所有在无穷远处趋于零的连续函数可以被具有渐近线性行为的非零连续激活函数的神经网络进行均匀逼近，并且我们确定了这些函数可被离散的 sigmoidal 函数的积的闭线性包所表示的代数结构。
Aug, 2023
提出了一种基于无限维状态空间系统积分表示的读出特性的新概念类，它具有较强的实用性和通用近似性质，其中利用了随机生成的线性或 ReLU 激活函数的回声状态网络，并以仅训练输出层的随机神经网络为基础构建读出模型，所得到的结果是具有证明收敛性保证的可全面实现的递归神经网络学习算法，不受维度灾难影响。
Apr, 2023
本文研究了经典神经网络的普适逼近定理在量子设置下的拓展，通过参数化量子电路近似传统函数，并提供精确的误差界，并将结果推广到模拟经典储备神经网络的随机量子电路。结果表明，一个具有 O (ε^-2) 个权重和 O (⌈log_2 (ε^-1)⌉) 个量子比特的量子神经网络可以在近似具有可积傅里叶变换的函数时达到精度 ε>0。
Jul, 2023
本文证明了对于任何连续函数 f，都存在一个网络 n，使得 n 能够逼近 f 并在 n 中通过简单区间传播得到的在区间 B 上的输出结果能够任意接近 f 在 B 上的最优值。这个结果可视为针对间隔认证 ReLU 网络的通用逼近定理。据我们所知，这是首次证明存在准确的间隔认证网络。
Sep, 2019
基于群表示论，我们提出了一个统一的构造性通用逼近定理，涵盖了包括浅层和深层神经网络在内的广泛学习机。我们通过研究向量值联合群等变特征映射的方法，扩展了 Sonoda 等人最近发展的系统方法，从而对复合非线性激活函数定义的真实深层网络进行了形式化的通用逼近定理的证明。
May, 2024
本研究通过三个隐藏层和不断增强、连续、有界激活函数的神经网络提供了一种简单的方法来证明一种通用逼近定理。此结果相对于最佳结果较弱，但证明过程只使用了本科分析学的基础知识。
Jun, 2024
该论文研究了深度神经网络的近似和表达能力，证明了神经网络在目标应用中比传统的非线性近似方法具有更强的近似能力，其中逼近单变量函数的 ReLU 神经网络是研究的重点，然而，尚缺乏一种完全定量化神经网络近似能力的理论。
May, 2019