本文利用三角化的方法研究了 ReLU 网络在初始化和梯度下降时的多面体形状，并发现它们相对简单，这是一种新的隐式偏差。此外，本研究还通过界定多面体面的平均数来理论上解释了为什么增加深度不会创建更复杂的多面体，并揭示了网络的简单函数模型和空间分割特性，这些结果具有重要的功能复杂性度量、正则化策略影响等方面的应用潜力。

May, 2023

本研究通过研究分段线性激活函数将激活空间分为许多离散的多面体的方式，提出了新的解释神经网络的方法，并在卷积图像分类器和语言模型上进行了实验，揭示了有关神经网络行为的具体预测

Nov, 2022

本篇论文调查了如何通过多面体理论以及线性规划技术对神经网络进行训练、验证和缩小规模，并概述了深度学习和神经网络中使用的关键词，如 ReLU（线性修正单元）等。

Apr, 2023

该研究建立了前馈神经网络与 tropical 空间之间的联系，通过这个联系，我们证明了具有一个隐藏层的前馈神经网络可以通过 zonotopes 来特征化，并且与 tropical hypersurfaces 相关联。

May, 2018

通过定义神经网络边界来解决复杂数据集分类所需大型网络架构的问题，并探讨了这种关系与数据集的几何复杂性的变化。此外，通过算法，确认了流行数据集可以用少于两个多面体高效地封装。

Feb, 2024

本研究旨在探究深度神经网络的通用逼近性质与数据集拓扑特征之间的关系，并通过拓扑结构推导出限制网络宽度的上界。通过设计三层神经网络中的 ReLU 激活函数和最大池化操作，可以逼近一个由紧凑凸多面体包围的指示函数，同时拓展到单纯复合体，以拓扑空间的 Betti 数限制推导上界，并进一步证明了三层 ReLU 网络的通用逼近性质。

May, 2023

通过对二元分类问题的数据集进行拓扑学分析，研究网络层数对于数据拓扑的影响，发现神经网络能够通过非同胚映射改变数据的拓扑结构，且 ReLU 激活函数能更有效地实现拓扑的转换。

Apr, 2020

研究使用单项式激活函数的多项式神经网络 (PNNs) 的表达能力和学习过程。探讨了使用代数几何工具对某些神经流形进行研究：给出了半代数集的显式描述，并表征了其 Zariski 闭包，称之为神经多样性。研究了神经多样性的维度，并将一个代数度量，即学习度，与神经多样性相关联。维度用作网络表达能力的几何度量，学习度用作训练网络的复杂度度量，并提供了可学习函数数量的上限。这些理论结果与实验证明相伴。

Feb, 2024

在 ReLU 神经网络中，由于有限的多面体分解与对应的有限的对偶图的强大作用，它可以与持久性同调一起用于检测样本中输入空间的流形的同调信号。

Jun, 2023

本文通过样条理论的角度展示了神经网络训练问题与函数的 Banach 空间有关，进一步论述了 ReLU 等激活函数的重要性，解释了神经网络设计与训练策略如何影响其性能，并为路径范数正则化及跳连等策略提供了新的理论支持。

Oct, 2019