本文提出了一种更精确的定理版本,关于一般浅层网络的维度无关界限;应用包括函数逼近、浅层网络、度量空间以及函数扩展等问题。
Aug, 2023
本文回顾了最近关于层级神经网络结构的研究成果,探讨了深度卷积神经网络优于浅层神经网络在函数近似问题中的表现条件。本文提出了一个新的对于相对维度的定义,该定义可以被深层网络而非浅层网络使用以显著降低近似和学习所需的复杂度。同时,本文还宣布了关于当前神经网络中使用的非平滑激活函数 - ReLU 函数以及高斯网络的新结果。
Aug, 2016
讨论了使用深度神经网络逼近函数的方法,构建了一个稀疏连接的深度 - 4 神经网络,并限定其在逼近函数方面的误差。我们的网络计算小波函数,这些小波函数是由修正线性单元(ReLU)计算得到的。
Sep, 2015
利用聚合函数表达的子函数描述构成的有向无环图,深度网络比浅层网络更好地逼近这些函数,因为深度网络可以被设计成具有相同的组合结构,而浅层网络无法利用这一知识,组合性的祝福缓解了维数灾难,而称为良好误差传播的定理允许通过选择适当的范数、平滑度等将有关浅层网络的定理推广到有关深层网络的定理。我们在三个环境中说明了这一点,其中每个通道在深层网络中计算球面多项式、非平滑 ReLU 网络或与 ReLU 网络密切相关的另一种区域函数网络。
May, 2019
研究神经网络中的多重流形问题,证明当网络深度相对于数据的几何和统计属性较大时,其宽度作为统计资源,使随机初始化网络的梯度集中,而其深度作为拟合资源,更易于分离类流形,基于神经切向核及其在训练超参数化神经网络方面的作用,我们为深度全连接网络的神经切向核提供了完全优化的集中速率。
Aug, 2020
本文提出了一种基于深度学习的算法,用于在未知流形中函数的扩展问题上。该算法使用多层神经网络和局部坐标系统来实现函数近似,同时保证输出的误差范围与目标函数的导数数量成正比,并在不需要目标函数的光滑性的情况下自动调整精度。
Jul, 2016
本研究提出了一种基于非对称核的泛化途径来研究基于核的网络的逼近能力,使用了一系列核并得出了与输入空间维度相比具有较小光滑度的函数逼近结果。
May, 2023
本文提出了深度神经网络的可连接性和内存需求的基本下限,同时证明了其实现方式适用于广泛的函数类。此外,研究表明,广义仿射系统内的全局极优逼近问题可以通过神经网络得到最优解,并通过数值实验验证了随机梯度下降算法能够学习出近乎最优的函数逼近。
May, 2017
该论文证明了神经网络在宽度有限和深度任意的情况下的一些定理,进一步探讨了各种激活函数的影响。
本文主要研究基于几何深度学习 (GDL) 框架的通用前馈神经网络的构建方法,用于处理非欧几里得数据,并得出了一些曲率相关的下界和上界等结论。同时,文章给出了可以保证该方法不失效的数据相关条件。
Jan, 2021