May, 2023

Deep ReLU 网络拥有令人惊讶的简单多面体

PDF
TL;DR本文利用三角化的方法研究了 ReLU 网络在初始化和梯度下降时的多面体形状，并发现它们相对简单，这是一种新的隐式偏差。此外，本研究还通过界定多面体面的平均数来理论上解释了为什么增加深度不会创建更复杂的多面体，并揭示了网络的简单函数模型和空间分割特性，这些结果具有重要的功能复杂性度量、正则化策略影响等方面的应用潜力。
relu networkpolytopessimplicesimplicit biasspace partition
发现论文，激发创造
  • 神经多面体

    简单的神经网络使用 ReLU 激活可以在各种维度中产生单元球近似的多面体，其种类受网络体系结构的调节，此发现开创了通过机器学习进行离散几何研究的新领域，同时也可以用于训练网络的可视化。

    Jul, 2023

  • 关于 ReLU 神经网络的深度下界

    本研究使用混合整数优化、多面体理论、热带几何等技术探究神经网络单隐藏层能否学习到所有函数的普适逼近定理，为可表示函数的类提供了数学支持。同时，解决了 Wang 和 Sun (2005) 关于分段线性函数的一项猜想，并提出了表示具有对数深度函数所需神经网络的上限。

    May, 2021

  • 浅层 ReLU 神经网络与有限元方法

    用浅层的 ReLU 神经网络近似表示分段线性函数与有限元函数之间的关系，并通过有限元函数分析 ReLU 神经网络在 $L^p$ 范数下的逼近能力，同时讨论了最近的张量神经网络在张量有限元函数的严格表示上的应用。

    Mar, 2024

  • ReLU 神经网络的拓扑表现力

    通过拓扑学的角度研究了 ReLU 神经网络在二分类问题中的表达能力。研究结果揭示，深层 ReLU 神经网络在拓扑简化方面远比浅层网络强大，这从数学上解释了为何深层网络更适用于处理复杂和拓扑丰富的数据集。

    Oct, 2023

  • ReLU 神经网络，多面体分解和持久同调

    在 ReLU 神经网络中，由于有限的多面体分解与对应的有限的对偶图的强大作用，它可以与持久性同调一起用于检测样本中输入空间的流形的同调信号。

    Jun, 2023

  • 使用边细分从 ReLU 网络中提取多面体复合物

    本文提出基于 sign-vectors 的多面体分割方法，并应用于神经形状表示的几何属性优化，其速度快且在消费级机器上可用。

    Jun, 2023

  • 完全连接 ReLU 层的几何结构

    通过对神经网络中全连接 ReLU 层的几何结构进行形式化和解释，我们提出了 ReLU 层参数对输入域的自然划分，使得在每个划分区域内，ReLU 层可以大大简化；这导致了一个几何解释：ReLU 层可以看作是一个多面角投影，然后跟随一个仿射变换，与具有 ReLU 激活的卷积网络的描述一致。此结构进一步简化了描述分类问题中决策边界的划分区域和超平面的原像的表达式。我们详细研究了具有一个隐藏 ReLU 层的前馈网络，提供了关于此类网络生成决策边界的几何复杂性的结果，并证明除了仿射变换外，这样的网络只能生成 d 个不同的决策边界。最后，我们还讨论了向网络添加更多层的影响。

    Oct, 2023

  • 通过晶格多面体计算整数 ReLU 神经网络深度下限

    本文通过利用神经网络和牛顿多面体之间的对偶性，基于 tropical geometry 理论，证明了单层 ReLU 神经网络所能表示的最大值函数类集合随着网络深度的增加而严格扩大，同时允许任意的宽度，且保证网络的权重为整型数。并且，通过对这些 Newton 多面体的归一化面积的奇偶性论证，表明需要层数 $log_2 (n) 向上取整 $ 才能计算 $n$ 个数字的最大值。

    Feb, 2023

  • 当深度学习遇上多面体理论：综述

    本篇论文调查了如何通过多面体理论以及线性规划技术对神经网络进行训练、验证和缩小规模，并概述了深度学习和神经网络中使用的关键词，如 ReLU（线性修正单元）等。

    Apr, 2023

  • 神经网络宽度的数据拓扑相关上界

    本研究旨在探究深度神经网络的通用逼近性质与数据集拓扑特征之间的关系，并通过拓扑结构推导出限制网络宽度的上界。通过设计三层神经网络中的 ReLU 激活函数和最大池化操作，可以逼近一个由紧凑凸多面体包围的指示函数，同时拓展到单纯复合体，以拓扑空间的 Betti 数限制推导上界，并进一步证明了三层 ReLU 网络的通用逼近性质。

    May, 2023