Feb, 2024

有界无穷宽神经网络的深度分离

PDF
TL;DR研究无穷宽度神经网络中的深度分离，该复杂性由权重的整体平方 L2 范数控制（网络中所有权重的平方和）。在以往的深度分离结果中，关注的是宽度方面的分离，这样的结果无法揭示深度是否决定了在网络宽度无限时是否可能学习出具有良好泛化性能的网络。本文研究以学习可行性所需的样本复杂性为标准的分离。具体来说，我们展示了通过由范数控制的深度为 3 的 ReLU 网络以多项式样本复杂度可学习的函数，而由范数控制的深度为 2 的 ReLU 网络无法通过次指数样本复杂度学习相同函数（对于任何范数值）。同时，我们还证明了在反向方向上不可能存在相似的陈述：通过具有无限宽度的范数控制的深度为 2 的 ReLU 网络以多项式样本复杂度可学习的任何函数也可以通过具有范数控制的深度为 3 的 ReLU 网络以多项式样本复杂度学习。
发现论文，激发创造
  • 神经网络中的深度分离：将维度分离出来与准确性

    证明了在满足条件的情况下，当用深度为 2 和深度为 3 的神经网络来近似一个在 [0,1]^d 上与 Lipschitz 目标函数的 constant 精度相等的分布时，存在指数级的差距。

    Feb, 2024

  • 神经网络的深度分离

    研究表明，具有指数级有界权重的 poly-size 深度二神经网络不能逼近无法由低次多项式逼近的函数，然而，这些函数可以通过 poly-size 深度三网络逼近，并从均匀分布的角度阐明了深度二和深度三网络之间的区别。

    Feb, 2017

  • 关于 ReLU 网络的样本复杂度的大小无关性研究

    本文研究了从推广的角度学习 ReLU 神经网络的样本复杂性，并结合权重矩阵上的范数限制，给出了与网络规模无关的上界，其中 Frobenius norms 为主要研究方向。

    Jun, 2023

  • 训练深度为 2 的 ReLU 网络的紧硬度结果

    本文研究基于 ReLU 激活函数的深度 2 神经网络在训练上的困难性，并证明了最小化给定训练集的二次损失函数下的权重和差异生成问题、K 个 ReLU 加权求和问题在现实情况下均为 NP 难问题；同时还针对该问题提出算法时间下限并进行上界分析。

    Nov, 2020

  • 有界范数无限宽度 ReLU 网络的函数空间视角：多元情况

    本文研究了无限宽度的单隐藏层 ReLU 网络实现函数 f：R^d->R 的范数，其中权重的欧几里德范数是有界的，包括确定可实现有限范数的函数。此外，本文将一维函数的 L1 范数的二阶导数与多元函数的 Radon 变换的 L1 范数相关联，并得到了一些重要结论。

    Oct, 2019

  • 无限宽度有界范数网络在函数空间中的表现

    探讨无界宽度的 ReLU 网络能够捕获什么样的函数，证明单隐层网络表示函数的最小网络范数，以及说明样本的最小范数拟合是通过线性样条插值实现的。

    Feb, 2019

  • 神经网络中的深度分离：实际分离的是什么？

    考虑常数精度下 Lipschitz 参数不随维度 d 变化时的 O (1) Lipschitz 径向函数问题，发现相比之前的研究，不存在深度为 2、规模为 poly (d) 的神经网络可近似表示该类函数，但当深度和规模限制任意一个为 poly (1/epsilon) 时，函数可被近似表示，两者的多项式依赖程度不能同时为多项式，表明要证明相应深度分离结果需要全新技术支持。

    Apr, 2019

  • 神经网络在逼近良函数时的规模和深度分离

    利用 ReLU 网络对可计算的具有多项式界的 Lipschitz 常数的函数进行逼近时，深度和大小如何影响其表达能力，深度越大亦或者规模越大准确度是否更高是研究中的主要难点，并探讨了相应的难题和所带来的挑战。我们的统计结果显示出了一些计算复杂性中的难点，同时也指出了一些可表示为具有布尔函数的形式，利用神经网络和阈值电路进行计算时具有线性的下界，这一研究也具有独立的意义。

    Jan, 2021

  • 神经网络的大小无关样本复杂度

    研究神经网络学习的样本复杂度，提供了关于每层参数矩阵范数约束的 Rademacher 复杂度的新界限，改进了前人的成果，并使用一些新技术获得了网络深度的改进关系，且在一些额外假设的情况下，完全独立于网络大小 (深度和宽度)。

    Dec, 2017

  • 前馈神经网络的深度优势

    研究发现，对于几乎所有已知的激活函数类型，存在简单的（大致上是径向的）函数在 $ eals^d$ 上，可由小型三层前馈神经网络表达，但无法用任何二层网络近似到特定常数精度以上，除非它的宽度在指数级别。此结果证明了深度比宽度对于标准前馈神经网络的提升，即使只增加了 1 层，其价值也可以是指数级别。此外，相比于布尔函数相关研究，该结果需要更少的假设，并且证明技巧和构造方法非常不同。

    Dec, 2015