ICLRFeb, 2023

通过晶格多面体计算整数 ReLU 神经网络深度下限

PDF
TL;DR本文通过利用神经网络和牛顿多面体之间的对偶性，基于 tropical geometry 理论，证明了单层 ReLU 神经网络所能表示的最大值函数类集合随着网络深度的增加而严格扩大，同时允许任意的宽度，且保证网络的权重为整型数。并且，通过对这些 Newton 多面体的归一化面积的奇偶性论证，表明需要层数 $log_2 (n) 向上取整 $ 才能计算 $n$ 个数字的最大值。
relu neural networksinteger weightsnetwork depthtropical geometrynormalized volume
发现论文，激发创造
  • 关于 ReLU 神经网络的深度下界

    本研究使用混合整数优化、多面体理论、热带几何等技术探究神经网络单隐藏层能否学习到所有函数的普适逼近定理，为可表示函数的类提供了数学支持。同时，解决了 Wang 和 Sun (2005) 关于分段线性函数的一项猜想，并提出了表示具有对数深度函数所需神经网络的上限。

    May, 2021

  • ReLU 门深度神经网络在布尔输入上的下界

    该研究借助 ReLU 挖掘深度学习的奥秘，以布尔函数为背景，考察了 ReLU 网络深度对模型大小的影响，并提出一种随机限制的方法来验证 LTF-OF-RELU 电路的最优性以及 ReLU 深度网络的难以压缩性，并展示出一种 Sum-of-ReLU-of-ReLU 函数实现的不可能性。

    Nov, 2017

  • 神经网络中的最小深度

    神经网络的可表达性特征对于理解其在人工智能中的成功至关重要。本研究调查了关于 ReLU 神经网络表达能力以及与最小深度的猜想的两个主题，主题包括求和和最大运算的最小深度表示，以及多面体神经网络的探索。对于求和运算，我们确定了操作数的最小深度的充分条件来找到运算的最小深度。相反，关于最大运算，我们给出了一系列综合性的示例，证明了不依赖于操作数深度的充分条件不能暗示运算的最小深度。本研究还考察了凸连续分段线性函数之间的最小深度关系。在多面体神经网络方面，我们研究了几个基本性质，推导出与 ReLU 网络等效的结果，例如深度的包含关系和从顶点计算深度。值得注意的是，我们计算了单纯形的最小深度，这与 ReLU 网络中的最小深度猜想有着密切关联。

    Feb, 2024

  • 神经网络宽度的数据拓扑相关上界

    本研究旨在探究深度神经网络的通用逼近性质与数据集拓扑特征之间的关系，并通过拓扑结构推导出限制网络宽度的上界。通过设计三层神经网络中的 ReLU 激活函数和最大池化操作，可以逼近一个由紧凑凸多面体包围的指示函数，同时拓展到单纯复合体，以拓扑空间的 Betti 数限制推导上界，并进一步证明了三层 ReLU 网络的通用逼近性质。

    May, 2023

  • 对具有深度精确依赖的 ReLU 网络的尖锐表示定理

    该论文证明了具有 $D$ ReLU 层的神经网络在平方损失下对某类函数的表示结果，证实了深度网络可以更好地表示不太光滑的函数，其主要技术创新是充分利用深层网络可以用少量激活函数产生高振荡函数的事实。

    Jun, 2020

  • 训练深度为 2 的 ReLU 网络的紧硬度结果

    本文研究基于 ReLU 激活函数的深度 2 神经网络在训练上的困难性，并证明了最小化给定训练集的二次损失函数下的权重和差异生成问题、K 个 ReLU 加权求和问题在现实情况下均为 NP 难问题；同时还针对该问题提出算法时间下限并进行上界分析。

    Nov, 2020

  • 使用有界宽度和 ReLU 激活的深度神经网络实现通用函数逼近

    本文主要研究具有 ReLU 激活和有限宽度的神经网络的深度表达能力，重点探讨了通过这种网络对连续函数进行逼近的最小宽度和所需深度的问题，最终得出了使用宽度为 $d+3$ 的 ReLU 网络可以以任意精度逼近 $d$ 维空间上的任意标量连续函数的深度估计结论。

    Aug, 2017

  • Deep ReLU 网络拥有令人惊讶的简单多面体

    本文利用三角化的方法研究了 ReLU 网络在初始化和梯度下降时的多面体形状，并发现它们相对简单，这是一种新的隐式偏差。此外，本研究还通过界定多面体面的平均数来理论上解释了为什么增加深度不会创建更复杂的多面体，并揭示了网络的简单函数模型和空间分割特性，这些结果具有重要的功能复杂性度量、正则化策略影响等方面的应用潜力。

    May, 2023

  • 浅层 ReLU 神经网络与有限元方法

    用浅层的 ReLU 神经网络近似表示分段线性函数与有限元函数之间的关系，并通过有限元函数分析 ReLU 神经网络在 $L^p$ 范数下的逼近能力，同时讨论了最近的张量神经网络在张量有限元函数的严格表示上的应用。

    Mar, 2024

  • 使用深度 ReLU 神经网络对分段光滑函数进行最优逼近

    研究了在 $L^2$ 意义下逼近分类器函数所需的 ReLU 神经网络的深度和权重数量，构造了一类具有固定层数的人工神经网络，使用 ReLU 激活函数逼近可允许不连续的分段 $C^β$ 函数，权重数量为 $O (ε^{-(2 (d-1))/β})$，并证明这是最优的。此外，为了实现最优逼近率，需要具有一定深度的 ReLU 网络。最后，分析了在高维空间中使用特征映射和分类器函数逼近的情况。

    Sep, 2017