Feb, 2024

神经网络中的最小深度

PDF
TL;DR神经网络的可表达性特征对于理解其在人工智能中的成功至关重要。本研究调查了关于 ReLU 神经网络表达能力以及与最小深度的猜想的两个主题，主题包括求和和最大运算的最小深度表示，以及多面体神经网络的探索。对于求和运算，我们确定了操作数的最小深度的充分条件来找到运算的最小深度。相反，关于最大运算，我们给出了一系列综合性的示例，证明了不依赖于操作数深度的充分条件不能暗示运算的最小深度。本研究还考察了凸连续分段线性函数之间的最小深度关系。在多面体神经网络方面，我们研究了几个基本性质，推导出与 ReLU 网络等效的结果，例如深度的包含关系和从顶点计算深度。值得注意的是，我们计算了单纯形的最小深度，这与 ReLU 网络中的最小深度猜想有着密切关联。
发现论文，激发创造
  • 关于 ReLU 神经网络的深度下界

    本研究使用混合整数优化、多面体理论、热带几何等技术探究神经网络单隐藏层能否学习到所有函数的普适逼近定理，为可表示函数的类提供了数学支持。同时，解决了 Wang 和 Sun (2005) 关于分段线性函数的一项猜想，并提出了表示具有对数深度函数所需神经网络的上限。

    May, 2021

  • 通过晶格多面体计算整数 ReLU 神经网络深度下限

    本文通过利用神经网络和牛顿多面体之间的对偶性，基于 tropical geometry 理论，证明了单层 ReLU 神经网络所能表示的最大值函数类集合随着网络深度的增加而严格扩大，同时允许任意的宽度，且保证网络的权重为整型数。并且，通过对这些 Newton 多面体的归一化面积的奇偶性论证，表明需要层数 $log_2 (n) 向上取整 $ 才能计算 $n$ 个数字的最大值。

    Feb, 2023

  • 浅层 ReLU 神经网络与有限元方法

    用浅层的 ReLU 神经网络近似表示分段线性函数与有限元函数之间的关系，并通过有限元函数分析 ReLU 神经网络在 $L^p$ 范数下的逼近能力，同时讨论了最近的张量神经网络在张量有限元函数的严格表示上的应用。

    Mar, 2024

  • 使用有界宽度和 ReLU 激活的深度神经网络实现通用函数逼近

    本文主要研究具有 ReLU 激活和有限宽度的神经网络的深度表达能力，重点探讨了通过这种网络对连续函数进行逼近的最小宽度和所需深度的问题，最终得出了使用宽度为 $d+3$ 的 ReLU 网络可以以任意精度逼近 $d$ 维空间上的任意标量连续函数的深度估计结论。

    Aug, 2017

  • 用最小宽度的 ReLU 网络逼近连续函数

    研究了 ReLU 激活的深度前馈神经网络的表达能力问题，得出结论：使用该网络结构可以以任意精度逼近任意 $d_{in}$ 维的连续实值函数，需要的最小宽度为 $d_{in}+1$，而一般深度和宽度都受限时，则只能表达并逼近有限的函数集。最后提出任何连续函数都可以通过宽度为 $d_{in}+d_{out}$ 的网络逼近，且该逼近的确切程度与函数的连续性有关。

    Oct, 2017

  • 具有无限宽度的浅层 ReLU 神经网络能表示分段线性函数

    本研究分析了使用修正线性单元（ReLU）作为激活函数的无限宽度、有限成本的浅层神经网络对连续分段线性函数的表示。通过积分表示，我们可以将浅层神经网络视为在适当的参数空间上的相应有限符号测度。我们将这些测度映射到参数空间上的测度，并将参数空间中的点双射映射到函数定义域中的超平面。我们证明了 Ongie 等人的一个猜想，即使用这种无限宽度神经网络可以表达的每一个连续分段线性函数都可以表达为有限宽度的浅层 ReLU 神经网络。

    Jul, 2023

  • 对具有深度精确依赖的 ReLU 网络的尖锐表示定理

    该论文证明了具有 $D$ ReLU 层的神经网络在平方损失下对某类函数的表示结果，证实了深度网络可以更好地表示不太光滑的函数，其主要技术创新是充分利用深层网络可以用少量激活函数产生高振荡函数的事实。

    Jun, 2020

  • ReLU 深度神经网络与线性有限元

    研究使用 ReLU 函数作为激活函数的深度神经网络和连续分段线性函数的关系，特别是从单纯形线性有限元法（FEM）得到的连续分段线性函数。在此基础上，我们证明了使用 ReLU DNN 表示任何线性有限元函数需要至少两个隐藏层，而使用 ReLU DNN 表示任何 CPWL 函数需要至少两个隐藏层。最后演示了使用 ReLU DNN 求解偏微分方程组的结果。

    Jul, 2018

  • ReLU 门深度神经网络在布尔输入上的下界

    该研究借助 ReLU 挖掘深度学习的奥秘，以布尔函数为背景，考察了 ReLU 网络深度对模型大小的影响，并提出一种随机限制的方法来验证 LTF-OF-RELU 电路的最优性以及 ReLU 深度网络的难以压缩性，并展示出一种 Sum-of-ReLU-of-ReLU 函数实现的不可能性。

    Nov, 2017

  • Deep ReLU 网络拥有令人惊讶的简单多面体

    本文利用三角化的方法研究了 ReLU 网络在初始化和梯度下降时的多面体形状，并发现它们相对简单，这是一种新的隐式偏差。此外，本研究还通过界定多面体面的平均数来理论上解释了为什么增加深度不会创建更复杂的多面体，并揭示了网络的简单函数模型和空间分割特性，这些结果具有重要的功能复杂性度量、正则化策略影响等方面的应用潜力。

    May, 2023