ICLRMay, 2017

深度网络表达自然函数的能力

PDF
TL;DR证明深度神经网络可以有效逼近多元多项式，但当只有一个隐藏层时，所需的神经元数量呈指数级增长；另一方面，增加隐藏层数量从 1 到 k 时，所需的神经元数量的增长速度是随着 n^(1/k) 对数增长，暗示了实用的表达所需的最小层数仅对 n 进行对数级增长。
neural networksdeep learningpolynomial approximationhidden layersexpressibility
发现论文，激发创造
  • 深度神经网络用于函数逼近的原因？

    研究了深度神经网络与浅层网络的比较，发现对于大部分分段光滑函数，相对于浅层网络，深度神经网络可以使用更少的神经元来实现相同的函数逼近程度。

    Oct, 2016

  • 深度多项式神经网络的表达能力

    通过研究多项式激活的深度神经网络，我们提出了 “维度” 作为多项式神经网络表现力的度量标准，并探讨了它受体系结构影响的理论结果。同时，我们还将我们的研究与有利的优化性质联系起来，以及与张量和多项式分解等领域产生了有趣的关联。

    May, 2019

  • 函数学习：何时深度学习优于浅层学习

    本文证明了深度（分层）网络可以近似组合函数，其准确度与浅层网络相同，但训练参数以及 VC 维度指数级地减少，并定义了一般类可扩展和平移不变算法来证明深度卷积网络的简单和自然的一组要求。

    Mar, 2016

  • 神经网络的表达能力

    探讨神经网络的近似能力和表达能力，对 ReLU-networks 的 $L^p$-norms 进行了最优逼近，并提出了两个表达能力的框架，对于其他规范如 Sobolev norm $W^{1,1}$ 和不同的激活函数，提出了更多问题和探讨.

    May, 2023

  • 深度神经网络近似理论

    本文通过深度神经网络的 Kolmogorov 最优化来发展其基本极限，并阐述了深度网络对于不同函数类的 Kolmogorov 最优逼近性，其提供了指数级的逼近精度，并且在逼近足够光滑的函数时，相较于有限宽深网络，有限宽深层网络需要更小的连通性。

    Jan, 2019

  • 深窄网络的通用逼近性

    该论文证明了神经网络在宽度有限和深度任意的情况下的一些定理，进一步探讨了各种激活函数的影响。

    May, 2019

  • 前馈神经网络的深度优势

    研究发现，对于几乎所有已知的激活函数类型，存在简单的（大致上是径向的）函数在 $ eals^d$ 上，可由小型三层前馈神经网络表达，但无法用任何二层网络近似到特定常数精度以上，除非它的宽度在指数级别。此结果证明了深度比宽度对于标准前馈神经网络的提升，即使只增加了 1 层，其价值也可以是指数级别。此外，相比于布尔函数相关研究，该结果需要更少的假设，并且证明技巧和构造方法非常不同。

    Dec, 2015

  • 深度神经网络的函数逼近

    利用聚合函数表达的子函数描述构成的有向无环图，深度网络比浅层网络更好地逼近这些函数，因为深度网络可以被设计成具有相同的组合结构，而浅层网络无法利用这一知识，组合性的祝福缓解了维数灾难，而称为良好误差传播的定理允许通过选择适当的范数、平滑度等将有关浅层网络的定理推广到有关深层网络的定理。我们在三个环境中说明了这一点，其中每个通道在深层网络中计算球面多项式、非平滑 ReLU 网络或与 ReLU 网络密切相关的另一种区域函数网络。

    May, 2019

  • 深度学习和廉价学习为什么如此有效？

    本论文旨在应用物理学中的对称性、局域性、复合性和多项式对数概率等性质，研究深度神经网络在近似处理特定实际问题时可以使用相对简单的模型，从信息论的角度证明这些理论，并通过层次结构的机制使深层模型比浅层模型更高效。

    Aug, 2016

  • 神经网络中逼近自然函数的深度 - 宽度权衡

    本文提供了一些新的基于深度的前馈神经网络分离结果，证明了各种类型的简单自然函数可以更好地用深层网络逼近比更浅的更大的网络，这包括指示球和椭圆体的指示器，$L_1$ 范数下径向非线性函数，以及平滑的非线性函数。我们还展示了这些差距的实验观察结果：当训练神经网络学习一个单位球的指示器时，增加深度比增加宽度更容易收敛学习。

    Oct, 2016