我们提出了一种代数几何框架来研究线性激活神经网络的表达能力。我们在热带几何的环境中工作，利用热带有理映射和前馈神经网络之间的已知连接，构建了一个丰富的研究神经网络的热带几何理论。我们的工作在选择采样域、对具有对称性的网络架构进行引导性采样域限制以及分析神经网络作为热带 Puiseux 有理映射方面做出了贡献。通过一系列概念证明的数值实验，我们展示了热带几何理论可以应用于揭示网络的表达特性的广泛神经网络架构。我们的工作为从计算热带几何和符号计算领域的理论和现有软件转化到深度学习提供了基础。

May, 2024

本文研究了一个新的途径，即通过研究热带多项式除法问题，处理神经网络简化问题，并与凸多面体联合凸包的计算联系起来，该算法的有效性已通过 MNIST 手写数字和 CIFAR-10 数据集的数值结果得到证明。

Jun, 2023

该研究建立了前馈神经网络与 tropical 空间之间的联系，通过这个联系，我们证明了具有一个隐藏层的前馈神经网络可以通过 zonotopes 来特征化，并且与 tropical hypersurfaces 相关联。

May, 2018

本文介绍分段线性激活函数对神经网络损失曲面的形状有较大的影响，证明了许多神经网络的损失曲面具有无限的虚假局部极小值，将神经网络损失曲面分为多个平滑和多线性细胞。

Mar, 2020

考虑一个由两个凸分段线性函数差值定义的二元分类器，其中 ReLU 神经网络的参数空间包含在热带有理函数的参数空间中，我们将该参数空间划分为两个不同的子集：一个由半代数集组成，其决策边界的组合类型固定；一个由多面体扇形组成，捕捉了数据集分割的组合数学。0/1 损失函数的亚水平集是分类扇形的子扇，我们证明亚水平集不一定是连通的。我们从几何学上描述了分类扇形，作为激活多面体的法向扇形，从组合学上通过关联的二分图列表描述了该扇形，类似于有向拓扑和热带有向拓扑的对偶向量公理。我们的发现通过观察在实际热带几何中建立的结构扩展和改进了神经网络与热带几何之间的联系，如超曲面的正热带化和热带半代数集。

Mar, 2024

本篇论文调查了如何通过多面体理论以及线性规划技术对神经网络进行训练、验证和缩小规模，并概述了深度学习和神经网络中使用的关键词，如 ReLU（线性修正单元）等。

Apr, 2023

研究神经网络的深度和节点的线性区分性对于复杂计算的影响，并在对多个模型类型的分析中提出新的关于深度优势的理论结果，同时研究了高层次单元的行为。

Feb, 2014

本文扩展了一种现有的神经网络验证技术，以支持更广泛的分段线性激活函数类别，并将原始的算法扩展以提供对以起始集表示的有界输入集的精确结果或上估计结果，并允许无界输入集。我们实施了我们的算法，并在一些案例研究中展示了它们的有效性。

Nov, 2023

提出了一种基于 Lipschitz 的单隐层神经网络的多项式时间学习算法，使用了 Alphatron 算法和核方法，这为布尔学习问题提供了新的方法。

Sep, 2017

本研究使用混合整数优化、多面体理论、热带几何等技术探究神经网络单隐藏层能否学习到所有函数的普适逼近定理，为可表示函数的类提供了数学支持。同时，解决了 Wang 和 Sun (2005) 关于分段线性函数的一项猜想，并提出了表示具有对数深度函数所需神经网络的上限。

May, 2021