该论文将神经网络的密度证明扩展到在概率密度函数紧致集合中的连续函数,进而给出了树形结构域的通用逼近定理,在结构化数据处理中具有重要的实际应用,这是 AutoML 范例的一个很好的例子。
Jun, 2019
本研究通过三个隐藏层和不断增强、连续、有界激活函数的神经网络提供了一种简单的方法来证明一种通用逼近定理。此结果相对于最佳结果较弱,但证明过程只使用了本科分析学的基础知识。
Jun, 2024
研究了随机神经网络的普适逼近性质、Bochner 空间中的逼近速率和维度诅咒,以及与确定性神经网络的比较。
Dec, 2023
本文通过深度神经网络的 Kolmogorov 最优化来发展其基本极限,并阐述了深度网络对于不同函数类的 Kolmogorov 最优逼近性,其提供了指数级的逼近精度,并且在逼近足够光滑的函数时,相较于有限宽深网络,有限宽深层网络需要更小的连通性。
Jan, 2019
本文使用直接代数证明了通用逼近定理,进一步量化了逼近所需的隐层单元数,并且证明了在权重上施加限制下仍然保持均匀逼近性质。
Feb, 2020
本研究旨在探究深度神经网络的通用逼近性质与数据集拓扑特征之间的关系,并通过拓扑结构推导出限制网络宽度的上界。通过设计三层神经网络中的 ReLU 激活函数和最大池化操作,可以逼近一个由紧凑凸多面体包围的指示函数,同时拓展到单纯复合体,以拓扑空间的 Betti 数限制推导上界,并进一步证明了三层 ReLU 网络的通用逼近性质。
May, 2023
本文介绍了一种基于 Tychonoff 拓扑空间的拓扑神经网络和利用 Borel 测度作为数据的分布式神经网络,证明了它们的正确性,并说明了它们是深度学习中 deep sets 的一种一般化。
本文研究了随机初始化的宽神经网络能否通过高斯过程来近似。我们在一个无限维函数空间中建立明确的收敛速率,说明了两种不同的情况:同时激活函数的次数和函数的平滑度会决定高斯过程的收敛速度。
Feb, 2021
本文探讨利用随机梯度下降学习两层神经网络,将神经网络权重的演化近似为概率分布在 R^D 空间中的演化,从而得到概率分布的梯度流方程。我们分析了隐藏单元数量与数据规律性之间的相关性,扩展了此结果到无界激活函数的情况,将此结果应用到噪声随机梯度下降过程中,并展示了如何通过平均场分析特殊限制条件下的核岭回归。
Feb, 2019
研究具有随机高斯权重和偏差的全连接神经网络的分布,其中隐藏层宽度与大常数 $n$ 成比例,并获得在有限但大的 $n$ 和任意固定网络深度下有效的正常近似的定量界限。
Jul, 2023