MMMar, 2024

神经网络的实际热带几何

PDF
TL;DR考虑一个由两个凸分段线性函数差值定义的二元分类器，其中 ReLU 神经网络的参数空间包含在热带有理函数的参数空间中，我们将该参数空间划分为两个不同的子集：一个由半代数集组成，其决策边界的组合类型固定；一个由多面体扇形组成，捕捉了数据集分割的组合数学。0/1 损失函数的亚水平集是分类扇形的子扇，我们证明亚水平集不一定是连通的。我们从几何学上描述了分类扇形，作为激活多面体的法向扇形，从组合学上通过关联的二分图列表描述了该扇形，类似于有向拓扑和热带有向拓扑的对偶向量公理。我们的发现通过观察在实际热带几何中建立的结构扩展和改进了神经网络与热带几何之间的联系，如超曲面的正热带化和热带半代数集。
发现论文，激发创造
  • 深度神经网络的热带几何

    该研究建立了前馈神经网络与 tropical 空间之间的联系，通过这个联系，我们证明了具有一个隐藏层的前馈神经网络可以通过 zonotopes 来特征化，并且与 tropical hypersurfaces 相关联。

    May, 2018

  • 神经网络的热带表达能力

    我们提出了一种代数几何框架来研究线性激活神经网络的表达能力。我们在热带几何的环境中工作，利用热带有理映射和前馈神经网络之间的已知连接，构建了一个丰富的研究神经网络的热带几何理论。我们的工作在选择采样域、对具有对称性的网络架构进行引导性采样域限制以及分析神经网络作为热带 Puiseux 有理映射方面做出了贡献。通过一系列概念证明的数值实验，我们展示了热带几何理论可以应用于揭示网络的表达特性的广泛神经网络架构。我们的工作为从计算热带几何和符号计算领域的理论和现有软件转化到深度学习提供了基础。

    May, 2024

  • 重访热带多项式除法：理论、算法和神经网络应用

    本文研究了一个新的途径，即通过研究热带多项式除法问题，处理神经网络简化问题，并与凸多面体联合凸包的计算联系起来，该算法的有效性已通过 MNIST 手写数字和 CIFAR-10 数据集的数值结果得到证明。

    Jun, 2023

  • 分段线性激活函数的神经网络热带方法

    本研究使用热带代数中 generalization 的概念对神经网络中的分段线性激活函数进行统一且独特的处理，将神经网络层看做是一个 tropical polynomial，进一步优化计算线性区域的上界，并提出了一种使用随机抽样有效计算线性区域数量的几何方法。

    May, 2018

  • 反向传播算法和热带神经网络中的算法复杂度

    本文提出使用热带实数矩阵代替实数矩阵进行神经网络训练的新技术，可以大幅降低算法复杂度，探索了热带算术和热带代数几何在神经网络中的应用，并提出多层热带神经网络作为通用逼近器，以及使用热带算术重新定义反向传播算法。

    Jan, 2021

  • 完全连接 ReLU 层的几何结构

    通过对神经网络中全连接 ReLU 层的几何结构进行形式化和解释，我们提出了 ReLU 层参数对输入域的自然划分，使得在每个划分区域内，ReLU 层可以大大简化；这导致了一个几何解释：ReLU 层可以看作是一个多面角投影，然后跟随一个仿射变换，与具有 ReLU 激活的卷积网络的描述一致。此结构进一步简化了描述分类问题中决策边界的划分区域和超平面的原像的表达式。我们详细研究了具有一个隐藏 ReLU 层的前馈网络，提供了关于此类网络生成决策边界的几何复杂性的结果，并证明除了仿射变换外，这样的网络只能生成 d 个不同的决策边界。最后，我们还讨论了向网络添加更多层的影响。

    Oct, 2023

  • 神经多面体

    简单的神经网络使用 ReLU 激活可以在各种维度中产生单元球近似的多面体，其种类受网络体系结构的调节，此发现开创了通过机器学习进行离散几何研究的新领域，同时也可以用于训练网络的可视化。

    Jul, 2023

  • 热带几何中的多项式计算前沿

    研究了有关各维热带超曲面交集的基本算法问题：判断此交集是否非空、是否为热带变量、是否连通，以及计算连接部分的数量。表明了输入数据的限制条件下可计算和硬计算之间的边界，并在不同的限制条件下证明了 NP-hardness 和 #P-hardness 结果，同时为其他不同限制条件提供了多项式时间算法。

    Oct, 2004

  • 多项式神经网络的几何

    研究使用单项式激活函数的多项式神经网络 (PNNs) 的表达能力和学习过程。探讨了使用代数几何工具对某些神经流形进行研究：给出了半代数集的显式描述，并表征了其 Zariski 闭包，称之为神经多样性。研究了神经多样性的维度，并将一个代数度量，即学习度，与神经多样性相关联。维度用作网络表达能力的几何度量，学习度用作训练网络的复杂度度量，并提供了可学习函数数量的上限。这些理论结果与实验证明相伴。

    Feb, 2024

  • 关于 ReLU 神经网络的深度下界

    本研究使用混合整数优化、多面体理论、热带几何等技术探究神经网络单隐藏层能否学习到所有函数的普适逼近定理，为可表示函数的类提供了数学支持。同时，解决了 Wang 和 Sun (2005) 关于分段线性函数的一项猜想，并提出了表示具有对数深度函数所需神经网络的上限。

    May, 2021