神经网络中的深度分离：实际分离的是什么？

Apr, 2019

神经网络中的深度分离：实际分离的是什么？

Depth Separations in Neural Networks: What is Actually Being Separated?

Itay Safran, Ronen Eldan, Ohad Shamir

TL;DR考虑常数精度下 Lipschitz 参数不随维度 d 变化时的 O (1) Lipschitz 径向函数问题，发现相比之前的研究，不存在深度为 2、规模为 poly (d) 的神经网络可近似表示该类函数，但当深度和规模限制任意一个为 poly (1/epsilon) 时，函数可被近似表示，两者的多项式依赖程度不能同时为多项式，表明要证明相应深度分离结果需要全新技术支持。

Abstract

Existing depth separation results for constant-depth networks essentially show that certain radial functions in $\mathbb{R}^d$, which can be easily approximated with depth $3$ networks, cannot be approximated by

depth separation radial functions constant accuracy polynomial dependence lipschitz parameter

发现论文，激发创造

神经网络中的深度分离：将维度分离出来与准确性

证明了在满足条件的情况下，当用深度为 2 和深度为 3 的神经网络来近似一个在 [0,1]^d 上与 Lipschitz 目标函数的 constant 精度相等的分布时，存在指数级的差距。

Feb, 2024

超越径向函数的深度分离

本文通过对深度分离结果的研究，在高维情况下，展示了某些函数可以通过两层神经网络高效近似，但是无法通过单层网络近似，在解决常见的一些函数中出现了限制，并提供了一些方法进行一层网络的高效近似。

Feb, 2021

神经网络的深度分离

研究表明，具有指数级有界权重的 poly-size 深度二神经网络不能逼近无法由低次多项式逼近的函数，然而，这些函数可以通过 poly-size 深度三网络逼近，并从均匀分布的角度阐明了深度二和深度三网络之间的区别。

Feb, 2017

神经网络在逼近良函数时的规模和深度分离

利用 ReLU 网络对可计算的具有多项式界的 Lipschitz 常数的函数进行逼近时，深度和大小如何影响其表达能力，深度越大亦或者规模越大准确度是否更高是研究中的主要难点，并探讨了相应的难题和所带来的挑战。我们的统计结果显示出了一些计算复杂性中的难点，同时也指出了一些可表示为具有布尔函数的形式，利用神经网络和阈值电路进行计算时具有线性的下界，这一研究也具有独立的意义。

Jan, 2021

有界无穷宽神经网络的深度分离

研究无穷宽度神经网络中的深度分离，该复杂性由权重的整体平方 L2 范数控制（网络中所有权重的平方和）。在以往的深度分离结果中，关注的是宽度方面的分离，这样的结果无法揭示深度是否决定了在网络宽度无限时是否可能学习出具有良好泛化性能的网络。本文研究以学习可行性所需的样本复杂性为标准的分离。具体来说，我们展示了通过由范数控制的深度为 3 的 ReLU 网络以多项式样本复杂度可学习的函数，而由范数控制的深度为 2 的 ReLU 网络无法通过次指数样本复杂度学习相同函数（对于任何范数值）。同时，我们还证明了在反向方向上不可能存在相似的陈述：通过具有无限宽度的范数控制的深度为 2 的 ReLU 网络以多项式样本复杂度可学习的任何函数也可以通过具有范数控制的深度为 3 的 ReLU 网络以多项式样本复杂度学习。

Feb, 2024

神经网络中逼近自然函数的深度 - 宽度权衡

本文提供了一些新的基于深度的前馈神经网络分离结果，证明了各种类型的简单自然函数可以更好地用深层网络逼近比更浅的更大的网络，这包括指示球和椭圆体的指示器，$L_1$ 范数下径向非线性函数，以及平滑的非线性函数。我们还展示了这些差距的实验观察结果：当训练神经网络学习一个单位球的指示器时，增加深度比增加宽度更容易收敛学习。

Oct, 2016

前馈神经网络的深度优势

研究发现，对于几乎所有已知的激活函数类型，存在简单的（大致上是径向的）函数在 $ eals^d$ 上，可由小型三层前馈神经网络表达，但无法用任何二层网络近似到特定常数精度以上，除非它的宽度在指数级别。此结果证明了深度比宽度对于标准前馈神经网络的提升，即使只增加了 1 层，其价值也可以是指数级别。此外，相比于布尔函数相关研究，该结果需要更少的假设，并且证明技巧和构造方法非常不同。

Dec, 2015

神经网络中逼近、深度分离与可学习性的关联

本文主要研究深度神经网络、近似能力和可学习性之间的复杂关系，提出了必须在浅层神经网络中近似目标函数的概念，并给出了多个范例证明了深度神经网络的分离性，并结论它们即使被高效近似，也不能被高效学习。

Jan, 2021

近似最大值需要多少个神经元？

我们研究了神经网络在逼近连续分布下基于 $L_2$ 范数、使用 ReLU 激活函数的最大函数时所需的大小，提供了对逼近所需宽度的新的上下界，建立了深度 2 和 3、深度 3 和 5 网络之间的新深度分界，并且通过在广泛使用的 max 函数上提供了深度 2 网络逼近最大函数所需神经元数量的紧密界限，与先前以特殊构建或病态函数和分布为基础的结果相比，我们的下界具有潜在的广泛应用价值。

Jul, 2023

关于 ReLU 网络的最优逼近速率及其宽度和深度的影响

研究如何使用深层前馈神经网络以最优近似方式处理 Holder 连续函数和 Lipschitz 连续函数，并验证 ReLU 网络在宽度和深度上的优越性，同时得出近似速率达到最优的结论。

Feb, 2021